智慧电力大数据平台方案

语言	格式	评分
中文（简体）	.pptx	3
概览
大数据平台产品架构全面透视大数据平台的架构、能力与价值 2 大数据应用生命周期大数据可视化大数据分析计算处理大数据存储数据获取和治理数据源（管理、交易、事务、传感、监控、文件……）数据驱动决策数据提供服务 3 大数据生态湖泊据数据运维数据之源数据生产区（原始数据）结构化数据文本文件多媒体数据描述类数据知识展现区知识交互区大数据可视化知识发现区数据台账信息发现区 ODS 数据多维报表关键索引数据魔方大数据操纵知识挖掘区大数据挖掘多维数据关联数据 APIS 行业规则主数据机构内部数据互联网数据社会数据数据审计数据安全数据质量管理主数据管理元数据管理数据标准数据治理流程元数据基于大数据的应用体系大数据检索大数据关联大数据分析大数据预测数数据知知识识信信息息应用 4 电力大数据概述发电输电配电售电特性一：不可存储能源电力是不可存储的能源，一旦生产则必须耗用，这就注定了电力生产、使用、销售的独特性。特性二：垄断性电力的大型基建特性注定了电力行业的垄断性，国家电网和南方电网公司是目前国内企业体量最大的存在。特性三：关注社会效益作为基础存在的电力供应是国计民生的大事，即便作为企业，也是将社会效益看重于经济效益的存在。特性四：新机遇挑战伴随着国家电网总经理刘振亚离职，以及国务院 2015 九号文的颁布，新的变化与机遇开始出现。国务院关于印发电力体制改革方案的通知【国发 [2002]5 号】中国华能集团公司（ 217 ）中国大唐集团公司（ 376 ）中国南方电网（ 18 ）中国电力投资集团公司（ 408 ）中国国家电网（ 2 ）中国电力建设集团有限公司（ 200 ）中国能源建设集团有限公司（ 309 ）国务院关于印发电力体制改革方案的通知【国发 [2015]9 号】中国华电集团公司（ 345 ）中国国电集团公司（ 299 ） 5 电力大数据 —— 电力相关企业信息化分析国家电网信息化建设路径 SG-186 SG-ERP 一平台一系统多场景微应用 2006-2010 一体化企业级信息集成平台八大业务应用六个信息化保障体系 2011-2015 建立覆盖面更广，集成度更深，智能化更高，安全性更强，可视化更优的新型 IT 架构 , 纳入了电力应用的全过程，在数据集采基础上加强数据分析和辅助决策的功能 2016-2020 国网拆分背景，去 SOA （ SAP 、 Oracle 、 Accenture ）化需求，对过去大系统建设的反思和调整。强调自身 UAP 平台的应用。国家电网信息化建设套路业务部门提报可行性研究报告  国网直属型单位  国网紧密型单位  甲方代写     相关管理部门进行初审单位所属信息化科室国家电网经济研究院国家电网信通部门电科院信息安全部门 6 电力大数据 —— 整体框架宏观大数据外部大数据  电网改革的决策支撑；  能源结构的调整改善；  基于多维视角的决策分析；  提供日常建设、运维的监管；  实现对最末端消费的数据采集分析；  对关联上下游产业提供战略性指导；  改造提升经济效益目标的营销管理；  配合国家产业调整目标，协助供给侧改造的实现 7 电力大数据 —— 细节关注内容售电配电输电发电今后工作的重中之重分割后的新领域传统领域的新突破急需支撑的先锋领域售电业务全面开放后，对售电、购电的内容都将产生天翻地覆的变化，迫切地需要大数据支持今后业务的方向与决策支撑，可以预见基于电信客户忠诚度、银行客户营销、电商策略支撑方面的大数据应用将会得到大规模应用。配电业务在今后将会一分为二，特高压高压配电继续由传统电网公司负责，高低压配电建设则可能由新诞生的售电公司负责，老树新花将会为配电建设工作带来新的活力。输电业务将会继续由电网公司负责，但是目前的用电发电端同时开放以后，输电关联的业务将会不可避免地带来影响，电网将会放下自身“老大” 的地位，输电将会变更其经济效益和社会效益的权重，更多地“迁就”社会实际需要。国家开放了个人发电销售业务以后，出现了围观冷场的情况，如何让发电销售说服大众和电网公司，成为国家一个新的创业增长点，再没有比大数据更具说服力的科学依据了。                     用电客户市场细分模型高价值工业用电客户分析模型居民用电忠诚度分析耗能电器用户画像节能智能家电推荐用电高峰时段区域分析变电站选址分析模型变电站建设舆情监控变电站检修项目风险监控变电站分时段负载分析及关联分析配电设备传感巡检数据分析及故障率分析输电线路规划分析模型输电线路环境影响及自然灾害评估输电负载分析管理输电线路建设资源预测模型输电建设承运商 / 承建商等级评估单体发电质量分布分析单体发电输配成本核算单体发电定价决策依据分析临时性用电高峰单体发电支持体系 8 电力大数据 —— 宏观关注内容作为现代工业真正的神经，社会正常运转的基本资源，国家一直十分关注电力与工农业、城市发展的关系，不管是特高压的论证审批，还是国家电网的拆分，以及水电站建设等各个方面应用，大数据将会为宏观决策提供科学的数据支撑和高效的分析模型。  水电站选址论证  火电站环境污染分析  风力发电质量与气象分析  远程输电时段地域成本论证  用电调度能效评估  输电建设资源预测系统  变电站覆盖区域负荷分析  重点工业园区用电支撑调度平台  用电量与环保关联性分析  电量 GDP 关联分析  用电区域分布引导管理  核电站运转情况分析  电站持续型环境影响评估  重大灾害电站应急指挥平台  统一电价及电力营销行为分析  电力巡检模型分析  大型活动临时配电调度管理  变电站故障及处理平台  智能巡检机器人数据管理  错峰用电定价指导分析  异常灾害电力负载应急管理  电价舆情分析 9 电力大数据 —— 城市耗电量分析通过收集不同气候、不同时段期间以及其他关联的用电量情况，助力“智慧城市”应用的同时，有效预测用电需求，协助电力相关单位应对用电高峰期的电力调度和资源确保能力。 10 电力大数据 —— 雅砻江流域水电开发有限公司大数据案例分享（成果展示）基于 312 的大屏展示以下内容：电站发电生产数据、水文气象观测数据、日常 KPI 指标、视频监控数据 11 电力大数据 —— 四川电力物资公司典型建设配送资源物资调度中心调度大厅建设在途信息集成监控信息集成传感信息集成视频传输集成 GPS 信息集成采购部门合同招标管理需求预测管理平衡利库管理财务部门仓库物流设备集成库位规划集成仓库物流规划辅助决策现场收发货入库管理出库管理库内管理资金支付深化财务结算财物一体化 1+23+84 仓储网络布局图 12 电力大数据 —— 物资需求模型应用 13 行业大数据应用面对的挑战硬件无法跟进数据规模的指数级增长过于分散和原始成为大数据应用的障碍复杂数据算法与业务模型衔接诸多大数据并行计算架构的选择大数据应用实现路径：从哪里开始？专业人才匮乏 14 CONTENT 1 2 大数据应用生态大数据平台数据共享开放与服务元数据管理数据台账数据治理流程主数据数据目录数据审计数据安全数据质量数据标准大数据门户展示移动数据可视化应用敏捷 BI 可视化大屏大屏显示控制模板 15 Data Discovery Family 大数据交换汇集平台大数据存储大数据治理平台大数据主题应用大数据可视化平台大数据智能运维平台原生态数据烟囱原始 RDB 原始 FILE 流媒体数据互联网数据分布式 RDB HDFS 流计算并行批处理 Map/Reduce 资源监控系统智能部署系统政务大数据经济大数据财税大数据民生大数据旅游大数据数据适配框架 ETL 数据转换爬虫软件数据清洗比对数据迁移数据处理流程实时采集文件数据库 MPP 数据库 RDB 图数据库键值数据库列式数据库 Spark 其他 Hadoop 生态政法大数据 DAC 数据总线实时分析环保工业商用大数据大数据大数据大数据知识认知平台 Hadoop 运维管理机器学习大数据应用驾驶舱大数据应用智能调度大数据基础架构大数据应用门户系统算法库管理模型设计大数据智能分析平台模型模型模型训练发布管理选矿捡矿洗矿储运冶炼成型铸模 16 大数据交换汇集平台构造大数据的数据之源 17 大数据交换汇集平台核心价值开发环境用直观且以角色为基础的图形用户界面，管理数据处理，提供拖拽功能，源系统访问和可自定义的元数据树互联互通相较于其它解决方案， WYDC 数据管理能够实时或批量地在更多的平台上链接更多数据源集成设计用可视化端到端的事件设计器，建立和编辑数据管理流程消息队列通过基于消息的连接整合异步业务流程 ETL 抽取、转换、加载，通过开箱即用的基于 SQL 的数据转换功能支持 ELT ，获得更高的灵活性管理与监控跟踪作业状态和性能报告以及趋势信息的各项指标数据联合获得虚拟访问多种数据库结构、企业应用、主机遗留旧文件、文本、 XML 、消息队列和其它源的功能迁移与同步可以在多种数据库、企业应用、主机遗留旧文件、文本、 XML 、消息队列以及其它源之间，进行数据的迁移和同步 . 18 ETL 概述数据源输出数据库结构化数据其它数据加载加工清洗抽取数据库数据仓库其它数据更多类型的数据来源支持各种数据源，包括 DB2 、 Oracle 、 Mysql 等各种主流数据库，以及结构化文件系统、 Excel 、 Xml 、 LDAP 、 SOAP/WebServcie 、 CSV 文件和 RSS 等各种数据源。更广泛的连接方式数据库连接支持集群，和数据库分区访问。数据库连接的方式支持 JDBC 、 ODBC 和 JNDI 方式，提供了数据连接池功能，能够大大提高数据库的访问效率。更人性化的控制方式提供了图形化界面的操作方式，开发人员只需拖动相应的组件到控制台即可。更强大的性能和处理速度采用并行处理的方式实现数据的高效处理，支持 10 Ｇ以内的大数据量的数据采集，并在网络断开后重新执行任务时，支持断点续传功能。 E T L 19 ETL 服务器认证授权监控管理接口扩展接口 ETL 资源库数据资源库文件资源库 ETL 核心架构集成开发工具数据源接入流程开发任务配置任务部署调试跟踪任务执行监控输出运行日志统一管理平台运行控制状态监控日志查看权限管理节点管理错误告警性能统计面板定制处理流程转换引擎转换组件元数据适配器组件 ETL 引擎任务调度转换流程流程控制性能管理任务引擎操作控制交换管理任务调度 20 丰富的 ETL 构件库四方 ETL 产品同类 ETL 产品主机配置曙光 640 AMD61362(x8)2.4GHZ 4G16 SASST91000640SS1T12 曙光 A-620r-G AMD61362(x8)2.4GHZ 4G16 SASST91000640SS1T*12 DataNode 数量 5 台 67 台每天数据处理量 1T 8T 数据处理时间 9 小时 17.5 小时单服务器计算能力 22.756G/ 小时 6.987G/ 小时对比结论 ETL 产品数据计算能力是同类 ETL 产品数据计算能力的 3.257 倍 21 强大的处理性能 22 交换汇集平台特性为数据集成、数据整合、数据中心建设、基于复杂数据流的数据处理提供稳定高效的技术支撑相关界面及效果 23 提高开发效率缩短周期  图形化界面创建数据采集转换、抽取、清洗作业；  支持智能采集；丰富的数据交换功能  支持多种数据库、实时接口及库表交换、文件交换；  支持全量、增量方式的数据捕捉方式；实现复杂数据处理  零编码的数据处理产品 ;  零编码图形化拖拽方式，完成数据抽取、转化、清洗设计；支持多种存储架构  支持 hadoop 、 Mpp 、传统数仓多层次安全机制保障  支持分级分域授权、三员分离；  支持通道安全，支持 SSL 传输通道加密功能；  支持数据加密，支持国密算法；  支持交换全过程监控、审计，并提供邮件、短信预警功能； 24 网络爬虫功能概述网络爬虫是一个集成在数据模块下的自动下载网页的程序，它根据既定的抓取目标，有选择的访问网页与相关的链接，获取所需要的信息，无需安装任何软件，挖掘互联网数据、配置规则简单（支持循环翻页、集合、点击事件、模拟账号登录）支持分布式采集、定时循环采集、有效的防范 IP 被封，支持采集数据导出，并且能够对接各种主流存储结构的面向主题爬虫。 25 网络爬虫特点一览更简单的规则设置支持异步 AJAX 简单配置出各种复杂的爬虫规则，大大缩短了脚本编写时间，而且更高效和更准确。支持鼠标点击事件（页面不跳转）的数据回调获取。分布式抓取利用 nginx 实现分布式抓取，提高爬取效率。多线程爬取反监控单个节点采用多线程抓取（线程数量可配置）配合分布式部署抓取效率进一步提高。采用 IP 代理的模块，和一些反监控配置，能有效的确保爬虫平台 IP 被网站封的可能性降低。分布式监管系统能够实时监控各个节点上爬虫服务器的运行情况，并能够及时统计和发送异常信息给异常处理模块。 26 网络爬虫界面效果先进标准的 SOA 架构标准化技术架构规范化管理框架构件化业务模型高效灵活的开发体系方法论和最佳实践一体化可视工具平台组件化和图形化业务化的配置开发能力自动化流程表单设计灵活的业务权限丰富的构件库 27 大数据应用驾驶舱大数据高速飞行的驾驶舱 28 大数据应用驾驶舱全方位的辅助分析能力更低的建设成本全景统一管理可信赖的安全控制超强的计算能力更低的建模门槛 29 大数据应用驾驶舱 30 大数据治理平台大数据治理实现数据内升 31 大数据治理的延伸治理流程原始数据元数据数据标准字典行业业务规则数据接口共享开放数据检索数据服务 32 大数据治理平台核心价值全景化信息开放与检索更全面的数据质量保障全过程信息安全  提供数据标准梳理工具，使得元数据更合规  支持策略集的质量巡检方式，保障数据的完整性  支持主题的数据台账，  基于元数据的信息管理，提供数据资源目录与导航  多渠道的数据访问机制（目录、 API 、 Webservices ）支持交换全过程监控、审计，并提供邮件、短信预警功能基于 oAuth 协议的第三方单点登陆集成的模块支持通道安全，支持 SSL 传输通道加密功能支持数据及资源级别访问安全控制，可灵活对脱敏数据进行管理更低的建设成本     产品自主化量身定制适合应用的实践路线智能部署，比同类产品实施节省一半时间基于大量实践的，通用解决方案 33 大数据治理平台： ETL 34 大数据治理平台：元数据标准管理 35 大数据治理平台：段码数据标准管理 36 大数据治理平台：信息类管理 37 大数据治理平台：数据资源目录 38 大数据治理平台：信息类授权 39 大数据治理平台：质量管理系统 —— 规则定义 40 大数据治理平台：质量管理系统 41 大数据治理平台：质量管理系统 42 大数据治理平台：质量管理系统 43 大数据治理平台：数据台账 44 大数据智能分析平台大数据知识挖掘的核心引擎 c 1 c 2 c 3 c 4 c 5 c 6 c 7 c 8 c 9 … 45 大数据分析平台关键能力开放弹性架构  真正无共享的海量并行处理架构  工业标准的 X86 平台  服务器资源按需分配，按需搭建集群，按需缩放集群规模在线线性扩展   增加节点可线性增加存储、查询和加载性能支持在线扩容，扩容期间保证系统继续对外提供服务拥有成本可控   保证用户不被专有平台锁定企业初期投入和后续扩容的成本可控海量并行处理 r1 r2 r3 r4 r5   支持 PB 级的数据处理、存储和访问在数据加载、处理、访问等各个环节最大化并行处理能力   优秀混合负载平台持续可用按需分配资源（ CPU 、内存、 IO ）动态调整资源  数据镜像、硬件冗余等多种容错技术保证系统高可用  故障切换和恢复，对用户透明  扩容期间可持续对外服务易于管理维护   直观的图形化界面，实时的状态监控最大限度降低管理员的日常管理和维护工作 46 计算存储网络开源架构云平台管理云平台安全模型库大数据资源开放共享平台大数据分析架构（根据