国家电网华为云技术培训 华为云数据中台解决方案介绍 目录 • 国网数据中台总体方案介绍 • 结构化数据处理方案介绍 • 非结构化数据处理方案介绍 • 数据中台使用说明 2 业务 xx 中台 5 数据中台 6 物联平台 数 据 治 理 数据接口注册 数据接口管理 标 签 管 理 AI 使能 BI 报表 数据可视化 设备管理（ DMP ） 主数据 管理 系统 电网 OA 办 公系统 电网财务 系统 综合能源服 务系统 设备鉴权 设备访问权限管理 设备配置管理 输电业务 系统 配电业务 系统 计费 / 入账 数据处理 规则引擎 报表统计 资产管理 3 1 终端采 集 服务管理 资源对象管理 健康度分析 告警管理 性能管理 拓扑管理 用户管理 运维权限管理 角色管理 容量管理 AI DAYU 数据集成 DAYU 数据服务 第三方 工具 数据消费 ca ffe 目录 • 国网数据中台总体方案介绍 • 结构化数据处理方案介绍 • 非结构化数据处理方案介绍 • 数据中台使用说明 12 结构化数据处理—数据特点 生产库多由 Oracle 或者 MySQL 组成，占生产库的 90% 生产库一般会存在更新删除，比例一般为 80% 新增， 19%

据分析标准等不明确； 五是这些环境数据如何为预测预报以及决策分析提供服务，管理者、决策者、研究者、公众 需要的数据有什么区别，以及如何对这些数据进行分析等相关问题。 环保大数据处理的关键技术 大数据处理关键技术一般包括：大数据收集、 分析、应用、共享、储存。 第一，大数据的收集。通过物联网技术，将海量数据收集起来并存储于设备上。为了获 取更多更准的数据，大数据收集的时间频度要大一些，尽可能收集全面的数据，而非样本数 同的观察视角；领导能查看实时汇总信息，大气实况；环保工作能查看各类精细报表与指 标，并能搜索工作中所需要的信息。通过数据可视化直观的展现，方式有：高分辨率大屏幕 展 示，远程 WEB 浏览，移动终端访问等数种方式。 从数据处理的角度看，平台运行后将建成以生态环境数据为中心的开放式数据中心，广 泛收集来自气象，农林，交通，能源，车联网等第三方数据，同时也给第三方输出数据并分 享成果数据；为后续深度学习积累数据样本，将来平台具备很强的自我学习能力。 系统采用分层设计方案，如下图所示，系统分为四个层次：应用层、应用服务器层、数 据资源层和底层软硬件基础；另有两个子系统:标准系统和安全保障系统。把与实际业务有关 的模块集中在应用表示层，把数据处理有关的放在数据处理层，由并行计算环境层提供海量 的存储与大规模计算，数据接口系统作为平台统一的数据来源，及输出接口；运行保障子系 统给整个平台提供不间断的运行维护及安全保障。 生态环境智慧环保大数据云平台系统架构设计

③ 数据处理模块 ④ 机器学习模块 调用模块 ① 传感器模块 ② 数据采集存储模块 ③ 数据处理模块 ④ 机器学习模块 ⑤ 决策引擎模块 调用模块 ① 传感器模块 ② 数据采集存储模块 ③ 数据处理模块 ④ 机器学习模块 ⑤ 决策引擎模块 调用模块 ① 传感器模块 ② 数据采集存储模块 ③ 数据处理模块 ④ 推 荐；并自动将门店活动信息推送。 决策引擎模块 需求推断 F1 良好： 0.90 – 0.94 大于等于 0.92 数据处理模块 人脸数据处理 通过检测对齐、光照归一化和降噪增强技术手段对人脸数 据进行处理。 计算机视觉 识别准确率 98% 基于消费习惯和购买意向，将相关商品打折信息和商店活 动消息通过手机短信和 APP 传感器模块 通过纹理、几何、微表情等采集人脸特征数据并存储。 库存和货架的商品补足确认，并进行异常监控。 摄像头集群 多源头、多模态和多场景的人脸图像传输。 补货调度与 监控 I 商品数据处理 摄像头集群 03 02 04 06 05 补货数量 确定 商品边界框和类别数据采集并存储。 商品数据采集与存 储 人脸数据采集与存 储 i 顾客商品需求分析 I 商品所需数量分

术手段，全面提高煤矿安全管理水平，如表 2 所示。 在数据处理方面，利用大数据平台的强大计算能 力，结合数据清洗、去噪和标准化技术，确保采集的 数据符合预设的质量标准。通过构建统一的数据处理 框架，将不同来源和类型的数据进行整合，形成具有 高度一致性的可用数据集。 表 2：基于大数据的煤矿安全监测与预警系统优化实验数据 具体数据处理过程如下： 1、数据清洗与去噪 数据清洗的目标是去除异常值、缺失值、冗余数 滤波） Kalman 滤波是一种最优估计算法，能够有效去除 数据中的噪声，其基本公式为： 其中： 为当前状态的估计值； 监测设备 监测参数 数据采集 频率 (Hz) 采集数据 范围 数据处理方法 清洗后的 数据值 预测结果 风险评 估等级 数据来源 传感器 A 气体浓度 10 0.1ppm - 5.0ppm 数据清洗、去噪 0.8 ppm 高风险 高 井下气体传感 器 传感器 另一个难题。煤矿安全监测系统需要处理来自多个数 据源的大量数据，包括实时监测数据、历史数据、地 理信息以及视频监控数据等。这些数据量庞大且复杂， 传统的数据处理方法难以满足实时分析的要求。如表 3 所示，因此，采用分布式计算平台和并行处理技术， 能够大幅提高数据处理效率。另外，机器学习和深度 学习算法的引入，能够帮助系统更好地从复杂数据中 提取有价值的信息，从而提高预警的准确性和时效性。 表 3：基于大数

性 维 修 异 常 监 控 人 机 协 同 过 程 优 化 EMS 数据 ERP 数据 MES 数据 检验数据 设备数据 数据源 DCS 数据 工业大数据架构 大数据应用 大数据处理 工艺优化 质量提升 产线故障预测 预测性维修 效率提升 可视化监控 事务型数据 MPP 数据库 HADOOP OLTP 数据仓库 元数据 索引 列存储 粗粒度索引 数据压缩 层处理，传统的神经网络机器学习算法依赖于一个输入一个输出一个隐 藏的浅层神经网络学习，而深度神经网络是在一个以上的隐藏层学习。 模型与数据 异常检测 事件处理 环境分析 人机协同 能效增强 质量强化 实时数据处理 历史数据处理 模型分析实时数据检测设备 状态、预防设备故障、优化 生产过程、提升产品质量、 能效增强、人机协同。 通过对历史数据清洗整合， 进行模型的训练，优化模型 参数，进行更加有效的生产 层处理，传统的神经网络机器学习算法依赖于一个输入一个输出一个隐 藏的浅层神经网络学习，而深度神经网络是在一个以上的隐藏层学习。 模型与数据 异常检测 事件处理 环境分析 人机协同 能效增强 质量强化 实时数据处理 历史数据处理 模型分析实时数据检测设备 状态、预防设备故障、优化 生产过程、提升产品质量、 能效增强、人机协同。 通过对历史数据清洗整合， 进行模型的训练，优化模型 参数，进行更加有效的生产

监控 系统 智能 部署 系统 政务 大数据 经济 大数据 财税 大数据 民生 大数据 旅游 大数据 数据适配框架 ETL 数据转换 爬虫软件 数据清洗比对 数据迁移 数据处理流程 实时采集 文件 数据库 MPP 数据库 RDB 图 数据库 键值 数据库 列式 数据库 Spark 其他 Hadoop 生态 政法 大数据 DAC 数据总线 实时分析 选矿 捡矿 洗矿 储运 冶炼 成型 铸模 16 大数据交换汇集平台 构造大数据的数据之源 17 大数据交换汇集平台核心价值 开发环境 用直观且以角色为基础的图 形用户界面，管理数据处理， 提供拖拽功能，源系统访问 和可自定义的元数据树 互联互通 相较于其它解决方案， WYDC 数据管理能够实时或批量地在 更多的平台上链接更多数据源 集成设计 用可视化端到端的事件 设计器，建立和编辑数 SASST91000640SS1T*12 曙光 A-620r-G AMD6136*2(x8)2.4GHZ 4G*16 SASST91000640SS1T*12 DataNode 数量 5 台 67 台 每天数据处理量 1T 8T 数据处理时间 9 小时 17.5 小时 单服务器计算能力 22.756G/ 小时 6.987G/ 小时 对比结论 ETL 产品数据计算能力是同类 ETL 产品数据计算能力的 3.257 倍

APP 实时监控 越限报警 电力监控 保护测控 能源供应 电力运维 巡检计划 消缺管理 智能巡检 电能质量 电能质量监测 电能质量分析 电能质量报警 数据层 数据处理 数据采集 数据检查 数据清洗 数据计算 数据分析 数据存储 Redis MongoDB MySQL 数据交互 MQTT Socket API 中间库 OPC 公有云 / 私有云 / 局域网 评价 , 从而寻求节能 潜力与机会。  测算变压器损耗和运行效率  测算水泵运行效率  测算空气压缩机能效比  得出能效分析结论，提供节能建议及能效优化实施方案 碳资产管理 数据处理系统，提供基础服务 • 明确核算边界及各排放源数据来源 • 根据核算模型，补充缺失的排放源数据 • 可独立运行，以碳排放量为计量单位对能源进行监测；也可作为企业能源管控平台的功能模块 辅助用户进行能源管理 等节能改造提供数据支持。 | 案例一 浙江春风动力股份有限公司 展现层 应用层 基础设施 WEB APP 企业能源管控平台 数据层 数据处理 数据处理平台 数据采集 数据检查 数据清洗 数据计算 数据分析 Redis MongoDB MySQL API 中间库 局域网 感知层 智能物联网感知平台 多功能电表 远传水表 电能质量分析仪

物联网平台 大数据平台 微服务平台 工业引擎 DevOps 平台 移动平台 应用开发平台 一卡通 智慧 管理 智能 控制 监盘中心 预警中心 诊断寻优中心 数据采集 智能预警 数据处理 锅炉优化 汽轮机优化 辅机优化 智能分析 热网优化 智慧工程 工程前期 合同管理 设计管理 施工管理 进度管理 质量管理 进度管理 费控管理 生产准备 竣工投产 文档管理 会议管理 实现安全质量在线防控。 安全质量 平台互联 视频监控 在施工区域安装摄像头 , 实时监控工 地 现场情况 , 针对现场发生的问题可 进行 历史追溯。 平台整合 , 数据为王 平台具备大数据处理能力、 各类设备接入能 力、 私有平台整合能力、 对接第三方等能 力为您量身定制个性化平台 文明绿色施工 通过环境监测设备 , 将工地的 PM2.5 , 噪声、有害有毒其他等数据进行实时监 物联网平台 大数据平台 微服务平台 工业引擎 DevOps 平台 移动平台 应用开发平台 一卡通 智慧 管理 智能 控制 监盘中心 预警中心 诊断寻优中心 数据采集 智能预警 数据处理 锅炉优化 汽轮机优化 辅机优化 智能分析 热网优化 智慧工程 工程前期 合同管理 设计管理 施工管理 进度管理 质量管理 进度管理 费控管理 生产准备 竣工投产 文档管理 会议管理

计算能力，如处理器的运算速度、内存容量、存储能力等，还涵盖软 件层面的算法处理能力，如数据预处理、实时分析、智能决策等算法 的效率和准确性。 边缘算力为各类实时应用提供了算力底座，通过在靠近数据供需 两侧的位置提供数据处理能力，大幅缩短原始数据传输距离，从物理 层减少延迟产生的因素，最终大幅降低端到端延迟。人工智能的训练 和推理过程需要大量算力，鉴于各领域终端设备自身算力较低，智算 中心实时性较差，边缘算力成为未来承载人工智能应用的重要载体。 在智能驾驶过程中，车辆需实时处理来自车载传感器及周边环境 的数据。边缘算力系统下，路侧单元（RSU）与车载单元（OBU）通过 5G 等高速通信技术紧密协作，并依托边缘节点的 AI 推理能力实现低 时延数据处理。例如，在复杂路口，路侧的摄像头和传感器可提前感 知其他方向车辆、行人的动态信息，并利用边缘算力在本地进行初步 处理和分析，再通过边缘算力系统快速将关键信息传输给即将进入路 口的车辆 OBU。车辆结合自身传感器数据与边缘 数据安全，激励边缘节点共享算力，确保数据交易的可信性。二是通 过边缘算力系统形成异构计算新架构，边缘算力系统通过整合 CPU、 GPU、FPGA 等不同类型芯片的计算能力，满足多样化任务需求。工业 质检中的图像识别和数据处理任务可由不同芯片协同完成，进而提升 处理效率。同时，采用动态负载均衡算法，依据各节点负载情况，智 能分配任务，防止部分节点过载，提高整体组网性能。三是通过 6G 网络形成泛在算力资源，6G 网络为边缘算力系统提供“全域覆盖、

海量数据；二 是依托协议转换技术实现多源异构数据的归一化和边缘集成；三是 利用边缘计算设备实现底层数据的汇聚处理，并实现数据向云端平 台的集成。 第二层是平台，基于通用 PaaS 叠加大数据处理、工业数据 分析、工业微服务等创新功能，构建可扩展的开放式云操作系统。 一是提供工业数据管理能力，将数据科学与工业机理结合，帮助 制造企业构建工业数据分析能力，实现数据价值挖掘；二是把技 OPC、CAN、Profibus 等各类工业通信协议和软件通信接口，实现 数据格式转换和统一。另一方面利用 HTTP、MQTT 等方式从边缘侧 将采集到的数据传输到云端，实现数据的远程接入。 边缘数据处理：基于高性能计算芯片、实时操作系统、边缘 分析算法等技术支撑，在靠近设备或数据源头的网络边缘侧进行 数据预处理、存储以及智能分析应用，提升操作响应灵敏度、消 除网络堵塞，并与云端分析形成协同。 相应的调度算法为应用程序分配相应的底层资源，从而使云端应 用可以自动适应业务量的变化。 多租户管理：通过虚拟化、数据库隔离、容器等技术实现不 同租户应用和服务的隔离，保护其隐私与安全。 4. 数据管理技术 数据处理框架：借助 Hadoop、Spark、Storm 等分布式处理 9 架构，满足海量数据的批处理和流处理计算需求。 数据预处理：运用数据冗余剔除、异常检测、归一化等方法 对