工业大数据采集、处理与应用 一、了解工业大数据 二、工业大数据采集 三、工业大数据预处理 四、工业大数据建模 五、工业大数据分析 六、工业大数据可视化 七、工业大数据应用 课程目录 一、了解工业大数据  大数据的特征  工业大数据的主要来源、特点、分类，数据的应用场景  工业大数据平台架构、主要技术 知识目标 技能目标  能够分析生产企业的数据来源、数据类型、数据规模 大数据指的是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。 维基百科 : 大数据指的是所涉及的数据量规模巨大到无法通过人工在合理时间内达到截取、管理、处理、并整理成为 人类所能解读的信息。 研究机构 Gartner ： 大数据是需要新处理模式才能有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息 资产。 …… 归纳：海量数据集合，已经无法用传统的技术手段和工具进行查询、分 析和挖掘，需要采用新计算模式和技术。 • 规模大 • 增量快 多样性 （ Variety ） • 来源多 • 类型多 价值性 （ Value ） • 可挖掘 • 有价值 高速性 （ Velocity ） • 采集快 • 处理快 大数据的特征 《大数据时代》 [ 英 ] 维克托迈尔 - 舍恩伯格 , 肯尼斯克 耶 一、了解工业大数据 Volume Velocity Variety Value 4V

传感器 数据库对接 I/O 采集 PLC 采集 机床联网 高级排程 事件处理 方案生成 多方案对比 交期回复 预测管理 滚动计划 外协计划 MES 二期 E-S0P 信息平台 移动平台 沟通管理 问题升级 生产追溯 全过程追溯 客退管理 客诉管理 客退管理 退货处理 MES 一期 MES 三期 系统选型建议 1 ）供应商是否有智能制造工厂整体规划以及落地的经验？ 自动测厚 裁切 生产管理 - 包装 关键实施手段 方案思路  正向追溯：可通过材料、人员、设备、作业方法、批次等信 息，查询到与这些要素相关联的所有问题产品及工单，实现 快速召回和问题处理；  反向追溯：当产品发生质量问题时， 通过产品或包装条码 可查询出物料生产商、批次、序列号，质量、工艺、超差等 数据，返工报废信息； 无纸化 设备监控 包装 裁切 压合 组合 裁切 上胶 调胶过程跟踪 - 设备数据收集 - 检验数据收集 - 生产巡检 - 异常处理 - 胶液批次追踪 - 有效期控制及预警 - 胶液合并追溯 - 物料防错追溯 - 检验控管 - 异常处理 - 在制品管理 - 设备数据收集 - 设备数据收集 - 检验数据管理 - SPC 统计过程控制 - 质量异常处理 - 设备数据收集 - 裁刀工具管理 - 检验数据收集 - 在制品追溯

工业大数据架构 大数据应用 大数据处理 工艺优化 质量提升 产线故障预测 预测性维修 效率提升 可视化监控 事务型数据 MPP 数据库 HADOOP OLTP 数据仓库 元数据 索引 列存储 粗粒度索引 数据压缩 SQL 优化 动态拓展 资源管理 大表关联 半结 构化 非结 构构 化 HDFS Map/Reduce Hive Pig 事务处理 数据完整性 锁机制 锁机制 索引机制 SQL 优化 SQL 执行 备份恢复 断点处理 流处理 （ Storm 、 Sp ark Streaming ） 智能制造大数据蓝图 工艺 人员 物料 设备 质量 历史数据 当前数据 历史数据 当前数据 历史数据 当前数据 历史数据 当前数据 历史数据 当前数据 业务系统实时查询服务 批量检索服务 数据分享服务 数据下载服务 数据仓库和分析型应用 物料 元数据及关联性 数据预处理 报表展示 机器学习结果展示 数据源定义 数据预处理 工业数据湖 行为 人员 生产线 信息系统 ERP MES EMS 智能化 数据可视化 流程优化 产线建模 知识库 自助式 BI 信息管理 事件处理 数据分类 数据工厂 机器学习 / 数据分析 HADOOP/Spark 技术 流处理 信息 基于数据湖分析 机器学习

• 结构化数据处理方案介绍 • 非结构化数据处理方案介绍 • 数据中台使用说明 2 业务 xx 中台 5 数据中台 6 物联平台 数 据 治 理 数据接口注册 数据接口管理 标 签 管 理 AI 使能 BI 报表 数据可视化 设备管理（ DMP ） 主数据 管理 数据模 型管理 数据标 准管理 模型开发 数据预处理 数据质量管理 系统 电网 OA 办 公系统 电网财务 系统 综合能源服 务系统 设备鉴权 设备访问权限管理 设备配置管理 输电业务 系统 配电业务 系统 计费 / 入账 数据处理 规则引擎 报表统计 资产管理 3 1 终端采 集 服务管理 资源对象管理 健康度分析 告警管理 性能管理 拓扑管理 用户管理 运维权限管理 角色管理 容量管理 AI 模型管理，质量管理，资产管理，血缘分析等 DAYU 跨源分析 可以支持数据源在 RDS 、 DWS 、 HBase 、 Redis 等不同数据源的跨源分析 DLI(Spark) 流处理 支持通过 SQL 语句编排流处理作业，简化编程复杂度 DLI(Flink) 数据中台各层选型原因说明 5 数据中台主力服务介绍 • DRS • MRS • DWS • DLI • DAYU 6

无法跨集群完成大工区深度域地震数据处理、两宽一高海量数据和多工区大连片地震数据等作业任务，影响业 务推进效率。 多部门采购同类软件，单独部署，无法共享，软件利用率低，成本高。 勘探开发算力中心解决方案基于华为云实现对算力资源的灵活调度，以及专业软件和数据的统一管理，支撑各 部门之间数据成果协同与共享，提升业务效率。 背景与挑战 解决方案简介 处理 解释 储层预测 地质建模 数值模拟 方案价值 自主创新 算效提升 IT底座自主创新、极致安全 GeoEast适配鲲鹏、欧拉等，助力勘探开发专业软件 在各油田推广应用 处理效率提升8倍 （456小时->55小时） 计算池化部署，按需弹性配置，构建超强计算池，满足 大规模多工区连片处理和解释需求，地震处理效率提升 主要产品及优势 全自主创新软硬能力，丰富云服务，全系列大模型 • 全自主创新软硬能力：算力、算子、训练框架、开发平台、大模型、工程套件 多集群，计算存储分散部署规模小: 油田多套处理集群，且规模小，地震处理软件无法跨集群作业，无法支持大规模的连片处理业务。（油田只能做2-3个工区 的连片处理，大连片需要拼接处理，效率低） 新技术新方法开展难： 新的地震处理技术依赖强大的计算支持，原有集群计算规模小，难以支撑新技术的应用和开展。（原有三维目标线偏移/叠 前时间偏移等新方法大庆油田不具备处理条件） 项目背景 客户价值 地震处理能力大幅提升： • 地

信息以主数据的形式在系统某著名企业立， 并以唯一的代码进行标识。维护客户主数据的主要作用是在进行销售业务的各个阶段明确业务对象，并按照业务对象的客 户主数据中维护的控制信息指导系统完成相应的业务处理。 2 ）、新增和修改客户信息时，要按照模板进行申请，要有统一的归口部门及岗位维护客户信息，保证数据的唯一性、正确性 价格主数据 - 通过价格比对，控制销售利润 1 、说明： 依托本次项目中物料编码方案设计，未来将会采用 销售开票申请 子公司销售 开票 其他流程 运费处理 （公司承担） 返利处理 销售订单变更方案 开始 营销提出订单更 改需求 计划评估 • 评估生产进度到哪一个环节 • 订单更改是否会造成损失 营销更改销售订 单 计划对计划订单 进行处理 生产对生产订单 进行处理 生产提报损失 提报损失的物料 退料 营销对生产提报 的损失处理 结束 • 成品计划订单 • 对应半成品计划订单 对应半成品计划订单 • 判断受变更影响的生产订单 的状态，作退料、关闭、返 工、改制等处理 • 提报损失的物料在 SAP 系 统中处理 • 实物处理 1 、订单变更的现状： 1 ）、客户主动提出需求：订单数量增加、减少和取消、订单交期提前、客户产品需求变更和付款条件（包括订单创建前预付 款及发货前的付款，如 FOB 改为 CIF ）更改。 2 ）、企业提出需求：产能不足、原材料未到达。 2 、订单变更的影响：

化和信息化水平。各 类应用对于算力的需求不断增长，尤其是人工智能训练神经网络大模 型需要处理海量数据，大量通用大模型、专用大模型、行业大模型等 对算力提出了远超传统应用的需求，我国建设算力总规模正在稳步提 升，位居全球第二。目前算力资源主要分为中心算力、边缘算力和本 地算力。其中，智算中心在处理计算任务时面临实时性较弱与隐私风 险，而很多设备的本地算力远不能满足人工智能、大数据等技术应用 用 要求。在新型工业网络、车联网等场景中，算力基础设施需要满足实 时响应、业务灵活、任务迁移等需求，边缘算力通过下沉至数据源头、 就近处理关键任务，成为人工智能实时场景中落地的必然选择。边缘 计算具有临近数据源、减轻云端数据压力以及保护用户隐私等显著优 势。 我国产业界大力发展边缘算力设施，分散式建设进程导致算力硬 件和互联网络呈现出较大差异，异网异构资源难以高效管控与对外服 务。 推理决策、 执行计算任务、存储数据、训练模型等能力，它不仅包括硬件层面的 计算能力，如处理器的运算速度、内存容量、存储能力等，还涵盖软 件层面的算法处理能力，如数据预处理、实时分析、智能决策等算法 的效率和准确性。 边缘算力为各类实时应用提供了算力底座，通过在靠近数据供需 两侧的位置提供数据处理能力，大幅缩短原始数据传输距离，从物理 层减少延迟产生的因素，最终大幅降低端到端延迟。人工智能的训练

11 城市、长三角 41 城市纳入范围，实现对大气污染防治三 大重点区域的热点网格监管全覆盖，提高环境监管效能。 网格监管将覆盖整个区域的网格化监控系统所生成的海量数据，通过大数据批量甄别、 “ 处理并进行综合分析、应用，最终起到 精准监测” “ ” “ ” 、 实时源分析 、 及时管理 、 “ ” “ ” “ ” 靶向治理 、 预警预报 、 减排评估 等作用，可促进治理大气污染由凭经验、凭感觉、粗 有数字环保的基础上，重点加强感知层与智慧层的建设。一是利用物联网技术，建设实时、 自适应进行环境参数感知的感知系统；二是利用云计算、模糊识别等各种智能计算技术，整 合现有信息资源，建设具有高速计算能力、海量存储能力和并行处理能力的智能环境信息处 理平台，为最终实现智慧环保的各项应用服务提供平台支撑与信息服务。 做好智慧环保，应坚持： 四个智慧方向：模式与时俱进（简洁管用、模式创新、网络创 新），服务整合互联（功能 据分析标准等不明确； 五是这些环境数据如何为预测预报以及决策分析提供服务，管理者、决策者、研究者、公众 需要的数据有什么区别，以及如何对这些数据进行分析等相关问题。 环保大数据处理的关键技术 大数据处理关键技术一般包括：大数据收集、 分析、应用、共享、储存。 第一，大数据的收集。通过物联网技术，将海量数据收集起来并存储于设备上。为了获 取更多更准的数据，大数据收集的时间频度要大一些，尽可能收集全面的数据，而非样本数

摘要：本文研究基于大数据的煤矿安全监测与预警系统优化方案，旨在提升煤矿安全管理的精准性和效率。随着 煤矿行业面临日益复杂的安全管理需求，传统的安全监测手段已经无法满足矿井环境中多变的安全挑战。基于大 数据技术的应用，通过多源数据的采集、处理和分析，为煤矿安全管理提供新的解决方案。文章深入探讨煤矿安 全监测技术的现状与发展趋势，分析大数据在煤矿安全监测和事故预警中的实际应用，并提出结合大数据分析与 机器学习优化安全预警系统的方案。通过对 样性和复杂性的特点，因此需要建立一套完整的大数 据治理体系，通过数据分析技术提高安全管理的精准 性和可操作性[1]。牛莉霞等则从风险治理模式出发， 探讨了大数据背景下煤矿安全风险治理的模式与方法， 强调数据采集、处理和分析在风险评估和管理中的重 要作用[2]。高晶等基于数据挖掘技术，构建了煤矿安 全管理的大数据平台，并通过数据挖掘算法分析了煤 矿安全事故的潜在风险，提出了更为高效的安全管理 方案[3]。李新在其研究中设计了一种基于大数据的嵌 的安全保障提供有力支持[5]。疏礼春提出了基于云边 一体化的煤矿安全生产风险监测预警平台，结合了边 缘计算与云计算的优势，不仅实现了数据的实时处理 和分析，还提升了系统的响应能力[6]。同时，闫姿呈 探讨了大数据在煤矿安全管理中的应用，认为大数据 可以为矿井的风险预测和应急处理提供更加精准的支 持，优化安全管理与预警决策[7]。 尽管现有的大数据技术在行业中得到广泛应用， 煤矿安全监测与预警系统的优化仍面临诸多挑战。第

大数据平台产品架构 全面透视大数据平台的架构、能力与价值 2 大数据应用生命周期 大数据可视化 大数据分析计算处理 大数据存储 数据获取和治理 数据源（管理、交易、事务、传感、监控、文件……） 数据驱动决策 数据提供服务 3 大数据生态湖泊 据 数据运维 数据之源 数据生产区（原始数据） 结构化数据 文本文件 多媒体数据 描述类数据 电站持续型环境影响评估  重大灾害电站应急指挥平台  统一电价及电力营销行为分 析  电力巡检模型分析  大型活动临时配电调度管理  变电站故障及处理平台  智能巡检机器人数据管理  错峰用电定价指导分析  异常灾害电力负载应急管理  电价舆情分析 9 电力大数据 —— 城市耗电量分析 通过收集不同气候、不同时段期间以及其他关联 流媒体 数据 互联网 数据 分布式 RDB HDFS 流计算 并行批处理 Map/Reduce 资源 监控 系统 智能 部署 系统 政务 大数据 经济 大数据 财税 大数据 民生 大数据 旅游 大数据 数据适配框架 ETL 数据转换 爬虫软件 数据清洗比对 数据迁移 数据处理流程 实时采集 文件 数据库 MPP 数据库 RDB 图 数据库 键值