球盟会官网129页4万字某智慧能源集团数字化管理平台项目建议书WORD导读：原文《129页4万字某智慧能源集团数字化管理平台项目建议书WORD》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。

　　SAP建议的XX大数据整体架构设计采用分层实现，垂直数据治理与管控结构。如图3.3 XX大数据平台整体架构所示，整体架构从数据源开始自下而上分成：数据源层；数据集成与存储层；数据建模层；数据分析服务层；数据应用创新服务层；服务门户层；数据治理和配置管控垂直贯通。

　　生产运行领域自动化化与信息化有：XX自主研发的SCADA集中监控平台，IBM风场管控EAMsystem。对于这部分数据，大数据平台既可以当做事件流处理球盟会，也可以作为传统静态数据批量抽取转换加载（ETL）。

　　外部公共数据有：天气、气候，水文，地理信息，环境数据等；大数据平台对这部分处理主要通过Hadoop平台集中存储，通过HANA内存数据库统一建模访问。

　　数据集成与存储层是整个大数据平台核心。以SAP HANA内存计算平台作为核心，是采用ShareNothing的分布式system架构；提供基于分布式文件system的Hadoop数据存储服务；system架构天生具备大规模并行处理能力和横向纵向扩展能力。大数据核心平台具有一次建设，分步骤扩展的能力；平台规模在扩展的同时在技术上不需要增加额外技术或产品。在海量数据存储方面采用数据温区分层设计，常用结构化数据作为热数据存储在内存中，通常的数据规模是TB级；历史结构化数据作为温数据存储在磁盘列式数据引擎中，数据规模10TB—100TB；非结构化半结构化数据或无法直接分析的数据作为冷数据，存储在Hadoop中规模可以达到PB级。数据访问统一由HANA内存平台实现。

　　数据建模层是基于数据存储层的虚拟层，利用SAP大数据平台的HANA内存中视图建模功能实现；在本方案中划分为两个数据模型区：风机、风场数据整合服务和经营管控数据集市。

　　风机风场数据整合服务包含：风资源数据模型，产品数据模型，风电场数据模型，机组运行数据模型等。

　　经营管控数据集市是面向企业经营管控的，涵盖：经营利润分析类，预算分析采购计划类，主生产计划类，主需求计划类，市场分析类，经营成本类，结算回款类，库存周转类，现场计划类，物流配送计划类，销售价格类等企业管控指标及报表。企业经营管控驾驶舱和数字董事会看板是这个模型集合的典型应用。

　　数据分析服务层：分析服务是利用大数据技术从数据中挖掘出利用价值，实现数据快速变现。这部分工作可以在大数据平台搭建完成后在后续阶段联合合作伙伴和SAP数据科学服务、客户专家团队联合开展。

　　数据治理与配置管控：大数据平台提供垂直到每一层的元数据管控，数据相关质量管控，数据模型管控，数据配置管控，数据标准管控，数据安全管控。

　　1、 提供分布式的system架构，通过简便扩展服务器硬件资源来提升整体system的并行计算能力。

　　回答：SAP 大数据平台天然的就是分布式system架构；可以向上扩展或横向扩展服务器硬件资源来提供整体system的并行计算能力。

　　2、 提供分布式的文件system，通过简便扩展服务器存储空间来增加整个system的存储容量和并行I/O性能，同时能高效处理海量数据(PB级)。

　　回答：SAP HANA大数据平台能够通过Vora融合Hadoop分布式文件system；不存在IO性能瓶颈，能够处理海量数据。

　　3、 提供分布式内存计算能力，通过简便扩展服务器内存来增加整个system的内存容量，提升整个system的快速响应能力。

　　回答：SAP HANA只需要增加内存就可以增加system的计算能力，线性提升system的快速响应能力。

　　1.实时分析，实时预测： 业务数据实时同步；所有热点数据在内存中存储、在内存中计算，实现实时报表和实时分析；

　　2.数据唯一，减少数据冗余：在SAP HANA的分层架构中，各层数据不落地，减少数据冗余，减轻数据维护的难度，从技术上尽量避免出现数据不一致的风险；

　　3.平台开放，逻辑灵活：SAP HANA支持多种数据源接入，整合了多种数据采集工具，针对不同的数据源类型提供不同的工具和手段；模型按层划分，逻辑清晰，架构稳定性非常好；

　　4.跨平台访问，全数据覆盖：在统一界面中实现对跨平台的数据访问，热点数据和历史数据无缝集成，大大降低了用户的使用门槛；

　　6.多种样式的展现形式和访问的方法：可实现各类报表、交互式分析、即席查询、数据探索、仪表盘及移动应用等方式方法，满足不同人员方便、直观、可视化的分析需求；

　　本方案提供以SAP HANA为中心的可扩展数据仓库架构，是面向未来的数据管控平台，无缝支撑分析应用的数据仓库架构；也是支撑大数据和数据湖泊的一体化的架构。如图3.4 SAP HANA数据仓库平台所示。

　　• 满足未来需求：逻辑数据仓库；支持动态变化的system布局支持云部署与混合部署；集成 所有数据类型及大数据技术；横向扩展，支持海量数据及数据湖泊。

　　• 超越其他数据仓库方案：最佳的与SAP解决方案开箱即用的集成–本地及云环境；HANA实时数据处理能力；通过SAP HANA Vora集成Hadoop；基于HANA的分析业务服务；针对HANA优化的可重用的业务相关内容。

　　• 无缝集成XX新能源现有SAP ERPsystem数据，和其他业务system数据；以及能够为风场分机等物联网数据提供流数据集成。存储与处理外部环境数据。完整的建模服务，IOT集成与大数据预测分析。

　　数据仓库结构中的主要产品包括：SAP HANA内存数据仓库及大数据平台；SAP EIM数据集成与主数据管控（详尽相关内容在3.3数据整合与治理部分介绍）；SAP BO 数据挖掘展现与可视化，SAP PA预测分析（3.4 数据展示部分说明）；大数据与数据湖泊（3.6.2大数据存储部分说明）；物联网流式数据集成（详尽相关内容在3.6.3大数据采集部分说明）；

　　SAP 高性能分析应用（SAP High-Performance Analytic Appliance，简称HANA）是一套灵活、多用途、而且与数据源无关的基于内存计算的全新应用，通过整合硬件（由 SAP 的硬件合作伙伴: 华为，惠普, IBM, 富士通, 思科,戴尔等来提供）和优化的一套基于内存计算技术的应用。

　　SAP HANA内存计算平台核心是面向下一代的数据库、数据仓库技术，同时也是可扩展的大数据平台。其架构如图3.5 SAP HANA内存计算平台所示：

　　SAP HANA基于全内存计算，采用ShareNothing架构，支持多服务节点并行计算，其认证过的HANA一体机硬件可以支持达到94个节点。支持全面的数据集成，阳明新能源现有考虑范围内的数据源都可以被支持；提供统一的海量数据存储与数据建模；支持任何设备的访问，包括移动化。SAP HANA特点有：

　　传统数据库技术基于磁盘计算，通过index和cache技术进行性能优化。但是现代计算机技术特点是CPU大规模并行、内存大规模商用、磁盘是高性能计算的瓶颈。SAP HANA利用现代硬件技术架构，完全自主创新研发了全内存列计算数据库。如图3.6所示：

　　这是面向下一个15年设计的核心数据库和数据仓库产品。内存读写性能是磁盘的100万倍，SAP HANA的查询分析能力比传统数据库提升1000倍，几十亿级别记录全表分析查询秒级响应，使得交易型操作OLTP和分析型操作OLAP可以融合，真正实现企业对于实时业务和分析的要求，是企业数字化转型过程中不可或缺的核心平台。图3.7显示了HANA内部架构。

　　本质上SAP HANA仍然是基于关系型的数据库system（RDBMS）。所有数据库产品知识如ANSI92-SQL，Table，View，Procedure，Index（基本不需要了），Lock，User，Role，Session，Schema等对象都和原有数据库概念一致。并且磁盘仅仅用于数据持久化，使得重启、掉电以后数据永不丢失。XX新能源采用HANA不存在技术门槛。

　　运行SAP HANA的硬件是都是经过SAP HANA认证的服务器，几乎所有主流的服务器厂家如：华为，Lenovo，Dell，Cisco，HP，日立，富士通等都有经SAP HANA认证的服务器，通常称其为SAP HANA一体机。如图 3.8 HANA 硬件架构所示。可以从以下网址查找所有认证过的HANA一体机，（）。同时SAP HANA还支持经过认证的存储架构服务器，以及Cloud IaaS 环境。SAP HANA服务器支持X86架构的Intel 智强处理器，SuSE Linux、RedHat Linux操作system，IBM Power7 for linux 处理器也已通过认证；支持本地部署、VMWare虚拟化和Cloud部署。

　　SAP HANA在并发访问和数据一致性保证上采用MVCC（Mutiple Version Consistency Contral多版本一致性控制）。读、写不阻塞读，采用行级锁控制事务，提升大规模并发用户访问能力； SAP HANA采用大规模并行CPU，每个core都可以独立处理单个列，使得大规模并行计算能力极大的提升，完全符合现代硬件的多路CPU和大规模内存计算技术。

　　SAP HANA采用行和列两种方式方法组织数据结构，行表主要用于update、delete频繁的OLTP操作，列表主要用于分析型场景OLAP使用。并且SQL支持行、列表的关联查询。XX大数据平台基本上全都采用列式模式计算。列计算采用可以直接访问的数据压缩技术，获得极大的数据压缩率。如图3.9数据压缩所示，SAP HANA 字典压缩原理。

　　图3.10所示，SAP HANA ERPsystem运行在HANA上和传统数据库相比数据可以达到5倍以上的数据压缩率，并且查询响应时间几十到上百倍提升。降低TCO。

　　SAP HANA 实现了并行处理，通过集群分布式架构实现大数据平台的线性扩展，灵活应对企业业务的变化；如图3.11所示：把大数据量和计算量分散到多个处理器和内存进行并行处理。在需要进行性能扩展的时候，通过增加处理节点，就可以轻松实现集群性能的线性增长。企业随着业务的变化，可以灵活调整大数据平台核心的性能，支持海量数据 。

　　SAP HANA是纯内存数据库，所有数据存储在内存中，磁盘中存在一份磁盘的镜像，用于数据持久化。未来弥补磁盘写入性能瓶颈，HANA设计了一套insert优化机制，采用SSD固态盘作为日志卷，所有数据先写入日志卷，异步合并到数据卷。如图3.12 HANA读写机制所示：

　　SAP HANA直接在内存中基于虚拟视图建模。是先进、成熟的数据仓库建模平台；HANA模型可以直接被BO数据展现调用。如题3.13所示，HANA Studio 可作为建模工具；

　　SAP HANA视图模型可以理解为CUBE，如图3.14所示。由于是利用内存视图建模，所以在性能上和分析维度上和传统CUBE相比有非常大的提升。属于技术质变层面的进步。

　　SAP HANA自带函数库：包含预测分析函数库（PAL），为大数据预测和分析提供强有力的支撑，如图3.16 HANA PAL库所示：

　　同时SAP HANA还提供R语言统计函数库：SAP HANA + R语言，利用网上丰富的大数据分析资源，为企业大数据分析应用提供更多思路。R与HANA的集成

　　SAP HANA数据仓库平台无缝支持SAP BO所谓数据展示平台。具体说明在数据展示部分介绍。

　　SAP HANA支持非结构化的文字搜索与分析，帮助企业更好的挖掘信息金矿。构建在统一的，灵活的，健壮的数据平台基础之上的固有的文字搜索与分析能力，可针对结构化与非结构化相关内容。

　　SAP HANA空间数据处理为大数据分析和预测提供了新的创新能力；支持实时空间数据处理、空间数据分析优化、空间数据类型及函数，提供地理信息及服务。如图3.17 HANA空间数据支持所示：

　　SAP HANA大数据平台支持海量存储与处理，采用数据温区分层设计。结构化分析热数据常驻内存，结构化历史数据定义为温数据存储在磁盘列式数据库，即HANA动态分层技术（HANA DT）；非结构化数据和冷数据存储在Hadoop中，从HANA 通过Vora基于spark框架或Smart Data Access访问。详尽介绍在大数据存储部分。

　　SAP HANA数据仓库平台集成了数据整合工具；包含ETL批量抽取转换加载，SLT从SAPsystem实时加载，从数据源CDC实时捕获事务SQL传输到数据仓库，以及风机风场传感数据物联网事件数据流式集成。ETL、SLT集成在3.3数据整合与治理部分说明；IoT在3.6.3大数据集成部分说明。