国家电网华为云技术培训 华为云数据中台解决方案介绍 目录 • 国网数据中台总体方案介绍 • 结构化数据处理方案介绍 • 非结构化数据处理方案介绍 • 数据中台使用说明 2 业务 xx 中台 5 数据中台 6 物联平台 数 据 治 理 数据接口注册 数据接口管理 标 签 管 理 AI 使能 BI 报表 数据可视化 设备管理（ DMP ） 主数据 管理 系统 电网 OA 办 公系统 电网财务 系统 综合能源服 务系统 设备鉴权 设备访问权限管理 设备配置管理 输电业务 系统 配电业务 系统 计费 / 入账 数据处理 规则引擎 报表统计 资产管理 3 1 终端采 集 服务管理 资源对象管理 健康度分析 告警管理 性能管理 拓扑管理 用户管理 运维权限管理 角色管理 容量管理 AI DAYU 数据集成 DAYU 数据服务 第三方 工具 数据消费 ca ffe 目录 • 国网数据中台总体方案介绍 • 结构化数据处理方案介绍 • 非结构化数据处理方案介绍 • 数据中台使用说明 12 结构化数据处理—数据特点 生产库多由 Oracle 或者 MySQL 组成，占生产库的 90% 生产库一般会存在更新删除，比例一般为 80% 新增， 19%

③ 数据处理模块 ④ 机器学习模块 调用模块 ① 传感器模块 ② 数据采集存储模块 ③ 数据处理模块 ④ 机器学习模块 ⑤ 决策引擎模块 调用模块 ① 传感器模块 ② 数据采集存储模块 ③ 数据处理模块 ④ 机器学习模块 ⑤ 决策引擎模块 调用模块 ① 传感器模块 ② 数据采集存储模块 ③ 数据处理模块 ④ 推 荐；并自动将门店活动信息推送。 决策引擎模块 需求推断 F1 良好： 0.90 – 0.94 大于等于 0.92 数据处理模块 人脸数据处理 通过检测对齐、光照归一化和降噪增强技术手段对人脸数 据进行处理。 计算机视觉 识别准确率 98% 基于消费习惯和购买意向，将相关商品打折信息和商店活 动消息通过手机短信和 APP 传感器模块 通过纹理、几何、微表情等采集人脸特征数据并存储。 库存和货架的商品补足确认，并进行异常监控。 摄像头集群 多源头、多模态和多场景的人脸图像传输。 补货调度与 监控 I 商品数据处理 摄像头集群 03 02 04 06 05 补货数量 确定 商品边界框和类别数据采集并存储。 商品数据采集与存 储 人脸数据采集与存 储 i 顾客商品需求分析 I 商品所需数量分

通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基 础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转 变，提升相关 IT 系统的建设和运行效率 通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基 础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转 变，提升相关 IT 系统的建设和运行效率 5. 改善数据质量 序，扫描用户微 博，抓取用户微博 内容，社交圈信 息，存入大数据区 处理对象 实现技术 实现功能 应用场景 Page23 企业数字化转型总体架构——流程 调 度 层批量处理流程  批量数据处理由流程 调 度 层部署的 自定义开发 WorkFlow 组件调 度 运 行  整个流程主要完成如下工作： 1. 获取业务系统结构化数据，存 入临时数据区 2. 获取企业内外部非结构化数 追加） 4. 按照主题数据模型整合数据并 生成汇总 5. 数据加工计算后，结果交付到 数据集市，支持分析类应用 Page24 企业数字化转型总体架构——流程 调 度 层实时数据处理流程  实时数据处理强调的是实时或准实时获 取并处理数据，通常采取消息队列等技 术构建“数据流”  整个处理流程 由流程 调 度 层部署的自定 义开发 WorkFlow 组件调 度 运行  整个流程主要完成如下工作：

通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基 础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转 变，提升相关 IT 系统的建设和运行效率 通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基 础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转 变，提升相关 IT 系统的建设和运行效率 5. 改善数据质量 照据生命周期规 划，统一将过期数 据归档 到历史 数据 归档 区 处理对象 实现技术 实现功能 应用场景 Page 18 大数据分析平台总体架构——流程调度层批量处理流程  批量数据处理由流程调度层部署的自 定义开发 WorkFlow 组件调度运行  整个流程主要完成如下工作： 1. 获取业务系统结构化数据，存 入临时数据区 2. 获取企业内外部非结构化数 据，并进行结构化处理，存入 / 追加） 4. 按照主题数据模型整合数据并 生成汇总 5. 数据加工计算后，结果交付到 数据集市，支持分析类应用 Page 19 大数据分析平台总体架构——流程调度层实时数据处理流程  实时数据处理强调的是实时或准实时获 取并处理数据，通常采取消息队列等技 术构建“数据流”  整个处理流程由流程调度层部署的自定 义开发 WorkFlow 组件调度运行  整个流程主要完成如下工作：

性 维 修 异 常 监 控 人 机 协 同 过 程 优 化 EMS 数据 ERP 数据 MES 数据 检验数据 设备数据 数据源 DCS 数据 工业大数据架构 大数据应用 大数据处理 工艺优化 质量提升 产线故障预测 预测性维修 效率提升 可视化监控 事务型数据 MPP 数据库 HADOOP OLTP 数据仓库 元数据 索引 列存储 粗粒度索引 数据压缩 层处理，传统的神经网络机器学习算法依赖于一个输入一个输出一个隐 藏的浅层神经网络学习，而深度神经网络是在一个以上的隐藏层学习。 模型与数据 异常检测 事件处理 环境分析 人机协同 能效增强 质量强化 实时数据处理 历史数据处理 模型分析实时数据检测设备 状态、预防设备故障、优化 生产过程、提升产品质量、 能效增强、人机协同。 通过对历史数据清洗整合， 进行模型的训练，优化模型 参数，进行更加有效的生产 层处理，传统的神经网络机器学习算法依赖于一个输入一个输出一个隐 藏的浅层神经网络学习，而深度神经网络是在一个以上的隐藏层学习。 模型与数据 异常检测 事件处理 环境分析 人机协同 能效增强 质量强化 实时数据处理 历史数据处理 模型分析实时数据检测设备 状态、预防设备故障、优化 生产过程、提升产品质量、 能效增强、人机协同。 通过对历史数据清洗整合， 进行模型的训练，优化模型 参数，进行更加有效的生产

监控 系统 智能 部署 系统 政务 大数据 经济 大数据 财税 大数据 民生 大数据 旅游 大数据 数据适配框架 ETL 数据转换 爬虫软件 数据清洗比对 数据迁移 数据处理流程 实时采集 文件 数据库 MPP 数据库 RDB 图 数据库 键值 数据库 列式 数据库 Spark 其他 Hadoop 生态 政法 大数据 DAC 数据总线 实时分析 选矿 捡矿 洗矿 储运 冶炼 成型 铸模 16 大数据交换汇集平台 构造大数据的数据之源 17 大数据交换汇集平台核心价值 开发环境 用直观且以角色为基础的图 形用户界面，管理数据处理， 提供拖拽功能，源系统访问 和可自定义的元数据树 互联互通 相较于其它解决方案， WYDC 数据管理能够实时或批量地在 更多的平台上链接更多数据源 集成设计 用可视化端到端的事件 设计器，建立和编辑数 SASST91000640SS1T*12 曙光 A-620r-G AMD6136*2(x8)2.4GHZ 4G*16 SASST91000640SS1T*12 DataNode 数量 5 台 67 台 每天数据处理量 1T 8T 数据处理时间 9 小时 17.5 小时 单服务器计算能力 22.756G/ 小时 6.987G/ 小时 对比结论 ETL 产品数据计算能力是同类 ETL 产品数据计算能力的 3.257 倍

面向各部门的业务需求 网络资源算法资源 云资源 面向管理层的决策需求 数据要素 X 无人机服务运营体系 总体规划 视频监控、移动终端、传感器 等前端数据采集资源 GISTC 无人机管理平台 数据处理平台 业务应用平台 低空装备共享 技术资源共享 P7 O- 方案优势 1 . 创新技术 & 业务 & 商业模式，突破无人机应用瓶颈，推动产业融合，赋能社会治 理 2 . 创新技术 & 业务 服务优势 __ 高效数据处理能力：与中科院共同投资建设三维数据 中心，拥有 100+ 数据计算节点。可实现三维实景 模 型 10-20 平方公里 / 天，三维精密模型 5 平方 公里 / 天的 处理效率。 倾斜摄影三维数据、 正射数据采集及处理 激 光 Lidar 数据处理 多光谱 / 高光谱数据处理 模型修饰服务 模型单体化服务 方案内容 GISTC 数据处理 P12 方案内容 构建服务预约、综合调度、统一下发、集中管理为一体 的无人机指挥调度机制 方案内容 7. 服务运营体系 GISTC “ 数据要素 X” 无人机服务运营中心 “ 数据要素 X” 专业服务团队 数据处理 运营中心 P20 2 1 个服务运营体系 覆盖 N 个业务场景 联动 N 个治理区 域 融合无人机飞控、物联网、图像识 覆盖环保、水利、消防、气象、河长、交通、 实现区域协调联动治理，覆盖全区

传感数据相对单一；对 获取的数据还需进行手 工统计和分析；缺乏智 能化的数据管理和分析 平台；不能做到灾害预 警和应对联动。 传感数据多样；集传感、 存储、分析、联动与一 体；实现远程监测和控 制；智能数据处理；多 样化报警方式。 随着传感器、智能移动设备、互联网等的发展， 数据呈现爆炸式增长。 2. 农业的新变化 数据无处不在 数据无时不有 数据无物不生 数据无人不感 农 数据治理：事前管理、科学决策 数据创新  资源配置：精准化、智能化、高 效化 三、农业大数据的关键技术 农业大数据的发展对传统的数据处理 技术体系提出了巨大的挑战，需要我们在 数据采集、数据标准、数据处理、数据分 析、数据展现等方面做全新的技术升级。 实时性 精准性 全面性 系统性 规范性 1. 数据精准获取技术 19 可穿戴式的信息获取技术 可植入、可嵌入式数据获取技术 的良好平台，也是农业信息分析等学科研究的重要载体。农业监测预 警空间 建有中国农产品监测预警系统、中国农业监测预警数据库系统、在线 会商系 统等多套应用系统及先进硬件支撑环境。 5. 大数据处理应用于生产决策  农业物联网区域试验工程扎实推进，取得重要阶段性成 效，总结推广了 426 项农业物联网软硬件产品、技术和 模式。通过实时获取的大数据，开展即时化的决策支 持。  在

算法和数字孪生技术，提供从数据采集到处理、展示的闭环解决方案。提供数据 实 时监测 AI 预警监测能力，实现桥梁隧道的安全运行和健康运维。 ● 实时采集多源数据， ● 全面覆盖各类传感器和设备； ● 高效的数据处理与分析， ● 确保数据的准确性和及时性。 ● 直观的数字孪生技术支撑， 提供全方位的业务洞察； ● 数据驱动的决策支持系统， 提升管理效率和决策质量。 ● 先进的 Al 算法， 境和视频监控等感知终端， 实时采集静态、动态、环境、载荷等信息。 ■ 即时推送监测的安全预警信息，展示桥梁隧道结构健康告警信息和历史运行数据。系统提供实时数据采集、趋势分析和异常预警， 运用大数据处理能力、健康评价方法和桥梁隧道养护方法对桥梁隧道进行结构运行评级，辅助提升桥梁安全保障水平。 整合各种传感器和监测设备，对桥梁隧 道整体状况的实时监测和感知。这包括 监测桥梁隧道的结构变化、荷载情况、 数据存储与管理子系统 车辆载重监测系统 数据处理与分析子系统 安全预警与评估子系统 数据层 数据采集 数据汇聚 数据整合 数据处理 数据挖掘 数据分析 数据管理 数据治理 服务整合 传输层 4G/5G

更加健全、管理更加科学的信息化平台。实现跨区域、跨部门的共建共享共用，充分发挥公共 安全视频监控在服务居民群众、创新社会治理、平安城市和智慧城市建设、维护国家安全和社 会稳定等多方面的重要作用。 大数据处理技术代表了新一代的技术架构，这种架构通过高速获取数据并对其进行分析和挖掘，从海量 形式各异的数据源中更有效地抽取出富含价值的信息。大数据主要被用于分析和决策，企业用以分析的数据 质量越高、越全面， 用户特性 行为分析 社区警务趋势转变 互联网正在加速重构各行各业，大数据、人工智能迎来契机 业务模式发生变化（互联网化）… 图像比对自动化、人员轨迹可视化、警民交流互动 化、案件处理信息化、数据处理智能化等社区警务需 求发生变化… 业务驱动 以智慧化警务成为迫切需求 ( 人工智能 ) 智能摄像头、智能门锁、智能感应器、智能条码、智能手 机、智能芯片等智能化产品为智慧警务提供了有力的硬件 支撑 通过人脸识别技术，集视频分析、运动跟踪、人脸检测和识别技术在 安防领域的全新综合应用。系统集高清人脸图像的抓拍、传输、存储， 人脸特征的提取和分析识别、自动报警和联网布控等诸多功能于一身， 并具有强大的查询、检索等后台数据处理功能及强大的通信、联网功 能，可广泛应用于重要关卡的行人监控。系统布控灵活，变被动监控 为主动监控，变事后处理为事中处理，变繁琐低效的人工查询为高效 率的智能录像查询，有效的提高了视频监控的防护等级和效率。