实现企业的智能化、复 杂型分析决策模型； 智能化 持续提升企业数据质量； 建立基于结构化数据的知识分析中心； 基于动态感知能力的知识价值分析； 知识化 建立企业级数据标准管理机制； 建立企业全业务统一数据中心； 建立企业数据运维及治理管理体系； 数字化 知识型企业是数 字化的升级阶 段，是以结构化 思维方式认识数 据、感知数据、 获取价值的阶 段。 智能化企业应具 备对未来发展方 应用 PaaS IaaS SaaS 应用 服务 开发服务 运行服务 测试服务 管理服务 中间件 服务 集成服务 计算服务 检索服务 音频服务 数据 服务 数据资源管理服务 结构化数据 非结构化数据 GIS数据 分布式文件系统/分布式数据库 门户 信息展示 决策分析 人力 资源 财务 管理 资产 管理 供应 链管 理 技术 状态 管理 项目 管理 档案 管理 合同 ）、数据仓库、商业智能、业务流程自动化。 风电场业务统一数据模型 统一数据模型标准，是企业数据标准化建设的基础。基于模型设计方法论，结合公司实际业务特点， 完成企业级数据模型设计并形成企业标准，实现对结构化和非结构化数据的统一管理，支持后续数字化系 统对模型的统一。 风电公共数据标准体系 设备 变电信息 输电信息 配电信息 …… 客户 客户信息 客户服务 营销账务 …… 电网 基础信息

3.3 传统数据库与 Hadoop 系统数据交换...............................................................205 4.3.4 非结构化数据与 Hadoop 系统数据交换...........................................................205 4.3.5 低价值密度数据向高价值密度数据转换 ERP、CRM、SRM、OA、绩效管理等系统建立，打通与 L3 层数据实时交互，构 建从生产需求预测、生产任务分解、生产组织执行、结果反馈、量化分析的精 细化经营管理系统。 （5）L5 决策层:决策分析支持以矿山各类结构化、半结构化、非结构化数 据为基础，通过高效数据预处理技术解决信息元间存在的相互影响、相互印证、 语义矛盾、冗余问题，综合利用数据仓库和大数据技术，实现信息多维度在线 分析、挖掘和可视化表达，为安全、生产、经营提供服务。如图 数 据可视化、大数据应用、大数据安全等）。 1、大数据采集技术 数据是指通过 RFID 射频数据、传感器数据、社交网络交互数据及移动互 联网数据等方式获得的各种类型的结构化、半结构化（或称之为弱结构化）及 非结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速 高可靠数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解 析、转换与装载等大数据整合技术；设计质量评估模型，开发数据质量技术。

1PB/ 天 生产数据 数字化互联工厂 多种类型数据分析 非结构数据价值挖掘 非结构化数据 （文本，图片、语音、视频等） 结构化数据 （可用数据库二维表结构实现） 1990 2000 2010 2020 2030 来源 : IDC, Huawei GIV 非结构化数据 >80% 结构化数据 数据实时分析 敏捷创新 风控场景：黄牛识别、异常拦截… ... 经营场景：实时报表、实时明细…

，实现完工文件的全面电子化 ，以及部分数据的结构化交 付 ，并探索通过三维建模等技术构建企业三维化数字产品交付能力。 源端系统 数字化交付 完工文件 结构化数据 三维模型 ...... 1.3.4 数字化交付协 同 数 据 汇 聚 数 据 输 出 ERP ...... NCR PLM MES WMS LIMS 结构化数据 一键导出 完工文件 一键生成 完工文件交付标准

型可扩展性较差。 2003 年，中国石油开始编制《地球科学与钻井系统》和《上游 生产系统》实施方案，开始引入国外县城软件和国外石油数据模型。 其中，大块数据管理引入 MDS 数据模型，结构化数据引入 EDM 数据 模型，成果及文档数据引入 CDS 数据模型。后来 EDM 数据模型在结 合中国石油的实际情况后，改造成为 EPDM 数据模型(即勘探开发数 据模型)。 2005 的指导，没有理论指导的智慧油气建设，一定将会出现混乱无序的局 面(至少会缺乏结构化、完整性和系统性)。 但是，现在一些咨询公司(包括一些国际知名的公司)给石油行 业编制的 IT 战略规划方案或智慧油气顶层设计方案时，要不缺乏这 些方法论指引，要不没有真正的理解或把握这些方法论，所以编制 出 来的 IT 战略规划方案或智慧油气顶层设计方案缺乏结构化、体 系化 设计和大型软件工程设计上成功实践。石油业务分析模型，也是笔者 适合于半结构化数据或非结构化数据的挖掘和分析。 7.1.3 NoSQL 功能 HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，其设计目标是 用 来解决关系型数据库在处理海量数据时的局限性。 HBase 使用场景有如下几个特点：海量数据(TB 或 PB 级别以上);需要很高的吞吐量； 需要在海量数据中实现高效的随机读取；需要很好的伸缩能力；能够同时处理结构化和非结

边侧（监控） 项目需求管理 设备管理 图片文件 日志文件 非结构化数据 实验设备实时数据 实验设备离线数据 端侧（探点） 边侧（监控） 数据接入 数据服务 整合层 报告层 贴源层 数 据 平 台 数据集成 集市层 需求管理主题 科研主题 项目基本信息 项目阶段信息 科研管理 项目管理 需求受理率 项目变更率 非结构化数据 图片文件 日志文件 对象存储 数据模型设计 数据标准管理 数据质量管理 数据资产管理 数据治理 中心 数据开发 DGC MRS-Flink 实时数据处 理 MRS Hbase 实验设备 实时数据 O B S 智能数据湖 结构化数据 科研平台数据  完成指标梳理，基于业务需求 识别复合指标 46 个，拆解产生 衍生指标 37 个、原子指标 23 个 （共计 106 个），优先落实 22 个复合指标， 30 个衍生指

大数据分析计算处理 大数据存储 数据获取和治理 数据源（管理、交易、事务、传感、监控、文件……） 数据驱动决策 数据提供服务 3 大数据生态湖泊 据 数据运维 数据之源 数据生产区（原始数据） 结构化数据 文本文件 多媒体数据 描述类数据 知识展现区 知识交互区 大数据可视化 知识发现区 数据台账 信息发现区 ODS 数据多维报表 关键索引 消息队列以及其它源之间，进 行数据的迁移和同步 . 18 ETL 概述 数 据 源 输 出 数据库 结构化数据 其它数据 加载 加工 清洗 抽取 数据库 数据仓库 其它数据 更多类型的数据来源 支持各种数据源，包括 DB2 、 Oracle 、 Mysql 等各种主流数据库，以及结构化文件系 统、 Excel 、 Xml 、 LDAP 、 SOAP/WebServcie 、 CSV

图 3.2 大数据与物联网 在平台功能模块上：SAP 大数据平台可以整体设计分阶段搭建、 实施；在平台硬件架构上：SAP 大数据平台可以支持横向扩展和向 上扩展；能够支持超过 PB 级规模的结构化和非结构化数据，具有统 9 / 275 一调度资源、快速布署、分布式计算和存储、动态扩展等特点。 SAP 大数据平台所有产品软件除了法律上的许可要求外，在实际使 用过程中，不存在任何性能上和用户数上的限制。 平台具有一次建设，分步骤扩展的能力；平台规模在扩展的同时在 技术上不需要增加额外技术或产品。在海量数据存储方面采用数据 温区分层设计，常用结构化数据作为热数据存储在内存中，通常的 数据规模是 TB 级；历史结构化数据作为温数据存储在磁盘列式数据 引擎中，数据规模 10TB—100TB；非结构化半结构化数据或无法直 接分析的数据作为冷数据，存储在 Hadoop 中规模可以达到 PB 级。 数据访问统一由 HANA 内存平台实现。 数据仓库平台无缝支持 SAP BO 所谓数据展示平台。 具体说明在数据展示部分介绍。 文本分析技术； SAP HANA 支持非结构化的文字搜索与分析，帮助企业更好的挖 掘信息金矿。构建在统一的，灵活的，健壮的数据平台基础之上的 固有的文字搜索与分析能力，可针对结构化与非结构化相关内容。 可通过 HANA 的文字搜索与分析能力，来分析客户投诉，电话中 心，维修，机器，事故等。 特性: • 固有的全文搜索；

平不断进阶。 系统模块——知识经验库闭环  核心功能模块  将行业规范、国际 / 国家标准、行 业最佳实践等与企业规范、工艺标 准、历史案例库、生产分析等深度 结合，形成结构化的知识图谱。  通过结构化存储和智能关联，将分 析中的功能、失效模式、原因和措 施等经验知识体系化沉淀，形成可 追溯、可复用的企业知识资产；  通过“质量工具标准化→问题分析 AI 化→知识生成自动化→应用场

发生的时间 能耗优化 工艺优化 设备运行优化 管理改进 原因追溯 优化提升 故障与数据关联 性分析 故障概率分析 结果 设备数据分析 结构化数据 运行数据 气象信息 缺陷报告 试验数据 投运信息 非结构化数据 图片 视频流 基于设备实时，实现设备故障诊断识别 九大核心价值之五 优化能源、节能减排 • 智能化测量 • 智能化采样、制样、化验 事后管理 云 智慧应急：机制、体制、法制 + 事前、事发、事中、事后 = 及时有效 数字化应急 基础信息管理  应急资源管理  日常巡检管理  防火检查管理 应急预案管理  预案结构化  预案可视化  预案数字化 教育培训演练  多终端多维度  学习培训考核 …… 全 链 条信息感知  现场实时监控  环境气象检测 研判指挥 辅助决策  事故后果模拟