24 第 5 章 数 据 处 理 25 . 25 .1 分布式计算框架 25 .2 内存计算框架 25 .3 流式计算框架 26 .4 分析引擎 26 .4.1 垂直搜索 26 .4.2 信息挖掘 27 .4.3 数据比对 27 .5 人工智能 27 第 6 章 数 据 管 理 询、比对、分析等多种类型应用服务接口，面向业务提供可定制、个性化 的数据资源服务，解决部门间信息资源的交互共享、数据复用等问题。 （5） 示范应用建设。利用大数据技术在海量数据挖掘、分析研判等方面的技 术优势，建立大数据技术的搜索引擎、可视化关系分析、多维度统计分 析、风险分析预警、等示范应用，在指挥决策、分析研判、预警防范等方 面进一步提升服务实战能力。 .3 建设原则 标准化、规范化原则 系统设计严格遵循国家和行业相关政策、法规和标准、规范。 数据存储：采用混合存储技术建立数据中心数据仓库，融合产权业务数 据、社会化数据等结构化、非结构化数据。存储方式上，是集中存储和分 布式存储的混搭。 3） 数据处理：利用分布式计算、内存计算、流式计算、分析引擎、人工智 能、数据建模等多种技术，建立分析模型，对数据进行逻辑运算后，快速 向前端应用提供服务。 4） 数据服务总线：是整个平台的调度中心，可以为采集提供数据接入服务， 也可以为各类应用提供数

集群资源无 法充分利用 集群存在低峰资源 利用时间 ，资源空 转， 同时集群对硬 件 CPU 、内存需求 不一致，可能导致 资源浪费 不同计算引 擎运行性能 存在差异 计算引擎差异导致 任务运行时间和资 源损耗存在差异 ， 需要择优运行 任务调参优 化成本高 业务专注在逻辑实 现，对任务的报错 、 调优存在门槛 ，需 要能快速定位错误 Hadoop 云计算基建 HBase 智能计算引擎 资源调度 权限控制 成本计算 clickhouse 集群运维 spark kafka Mongo 服务层 云存储 presto flink SDK ES 美图大数据计算智能引擎 SQL SDK/API SQL 画像识别 - 》计算引擎路由 Flink 引擎 Presto 引擎 个性化设置 参数优化 权限控制

OSS 等 Oracle 、 Sql Server MySQL 、 Postgresql 统一数据存储计算平台 文件 数据仓库 消息中间件 其他 NoSQL 爬虫、埋点、日志、 检索引擎 HBase 、 MongDB 、 OTS … … …. Hive 、 ODPS 、 Greenplum 关系型数据库 Kafka 、 ZeroM Q EXCEL 、 CSV 务有指导意义的数据定义，是 创建标签组 企业数据中台实施步骤：价值场景构建 标签设计完成之后形成后台标签类目，在业务应用是通过标签的申请、组装，形成场景化前台标签类目，结合数据引擎能力， 通过“标签 + 引擎”快速生成服务于业务的应用形态，主要有 API 服务接口和可视化两种常见形态。 选择标签 【资产安全】标签审批 申请标签 数据交换任务对应数据目录，标签目录通过绑 景绑定，后台类目相对固定 后台类目 标签目录（绑定表） 前台类目 我的标签 标签 组 场景化自由组合、动态生成 标签 + 引擎 = 生成服务 数据应用 A 应用服务 API 数据应用能力 市场营销 数据资产 统一存储 市场运营 业务数据沉 淀 企业数据中台实施步骤：持续运营 统一数据平台 服务 业务数据回流

物理 流域 GISTC 水利知 历史场 业务 识图谱 景模式 规则 水利知识引擎 流域防洪 水资源管理与调配 N 项业务 数 据 驱 动 现实世 界 决 策 支 持 网络 安全 体系 数字 孪生 平台 保障 体 系 数字模拟仿真引擎 水利 专业模型 知识 平台 模 型 平台 可视化 模型 专家 经验 智能模型 全息仿真驱动 Generative-Based 人工智能驱动 技术 发展 计算机建模仿真 技术 (CAE 、 CAD) 地理信息技术快 速发展 GIS 、 BIM 、游 戏 引擎等技术融合 应用 感知、自动化控制 等技术与模型深 度融合 基于 AI 的大场景 仿真技术，以及 VR/AR/XR 等技术 快速发展 AIGC 、 AI Agent 基本 特征 开闸调水 五、可视化仿真能力构建 GISTC 游 戏 引 擎 融 合 仿 真 GIS P25 + GIS+ 游戏引擎同场景内无缝切换 1 、 大场景 2 、 无高精度数据中小场景 3 、需要用到大量 GIS 空间分析能 力 的业务场景 4 、用户无法提供高性能服务器 游 戏引 擎 ： 1 、有高精度数据、高逼真可视化

现内网数据和互联网数据之间的交互。 2.3 大数据系统建设 2.3.1 系统基础建设 建设结合目前架构自主支撑组件，基于满足应用功能和业务功能的性能需 求，对系统的存储容量、计算节点、网络负载、支撑引擎进行规划，同时可实 现对计算、存储等资源动态分配、引入多线程任务的概念，增强系统架构对上 层服务和应用功能的基础支撑能力，增强系统对各类应用功能，各类用户不同 应用资源的合理分配。确保有力支撑在网络负载、计算能力、存储空间等方面 根据需要分析的数据量引用支撑引擎，对业务应用的功能进行基础能力支 撑，通过新增大数据计算存储节点以扩充系统实时计算、离线计算、分布式计 算能力，满足针对各类应用的并发用户数、响应时间、计算速度等性能指标， 在项目建设完成后保证后期能够有对更多用户的支撑能力。 2.3.1.4 支撑组件规划 根据业务应用需求，重点结合功能规划和业务应用的功能，对架构、组件、 引擎、并行处理数据库进行分类规划，针对图片数据库及 引擎、并行处理数据库进行分类规划，针对图片数据库及 GIS 地理信息空间数 16 据单独使用处理引擎，增强系统对各类功能的支撑能力。 2.3.2 数据治理体系建设 在本项目建设中，引入数据治理理念，在数据获取落地到服务具体应用全 流程中，将规范化逻辑数据设计、物理数据存储、数据标签、数据集成等作为 整体资产进行治理，将各类数据（包括结构化及非结构化数据）中的有效信息 逐步挖掘处理成直接支撑各类应用功能的标签、关系及特征，充分体现数据价

流计算应用 机器学习应用 应用 Confidential 1 公共基础设施 SQL 统—优化器 内存引擎 OLTP 引擎 OLAP 引擎 时序引擎 备份 ⻆⾊ 监控 加密 认证 高可用 审计 恢复 存储器 存储器 执行器 执行器 存储器 执行器 执行器 存储器 │ ©202 四维纵 横 JDBC/ODBC/OLEDB • 车机信号表： • 采用 mars 存储引擎 • 按天分区，冷热分级。冷数据采用外部表降低存储开销 • 分区自动管理实现分区自动创建，自动转化 • 使用持续聚集实现最新值查询，取代 Redis 集群 • 其他关系表采用关系存储引擎 Confidential 1 车机信号表

距，构建适配个体成长的未来教育新生态。 朱玉荣 安徽文香科技股份有限公司董事长 AI与教育融合：政策、技术与未来重构！ 我们正站在教育数字化转型升级的关键节点，人工智 能与教育的深度融合已成为推动教育高质量发展的核 心引擎。希沃始终秉持从场景中来，到场景中去的理 念，坚持以真实教学痛点驱动技术创新，深入实施国 家教育数字化战略行动2.0，聚焦教育部提出的集成化、 智能化和国际化方向，构建开放、普惠、安全的教育 才，共赴一个更智慧、更公平的教育未来。 张元来 鸿合科技股份有限公司高级副总裁 AI赋能教育：构建“因材施教”的教育新生态! 产业领军人物观点 人工智能技术正在深度重塑教育信息化，从辅助工具 向核心引擎转变，覆盖教学、管理、评价等全场景， 推动教育从标准化交付向个性化定制，从经验驱动向 数据驱动升级。人工智能技术赋能的智慧课堂将全方 位提升教学效率，从课前辅助教师智能化备课，到课 堂中动态学情诊断，从千人千课的个性化内容推送， 知记录并反馈教学，打破时空限制，实现个性化与数 据驱动的融合。 AI旨在强化教师能力与价值。我们坚持让技术回归教 育初心，以智能赋能教师、激发学生，推进算力入校、 智能入课、数据入脑，使AI成为中国教育新质生产力 的核心引擎。 黄逸涛 广州视睿电子科技有限公司（希沃）副总裁 广州开得联智能科技有限公司董事长 让技术回归教育初心 赋能每一位教师，激发每一个学生! 王勇 广州市奥威亚电子科技有限公司总经理 以技术创新为支点

特点与优势 04 成功案例 厂区安全管理 01 视频实景地图 平台以高点视频画面为载体，运用高点监控采集的大范围、大场景监控画面，实现厂区整体态势监控， 并且通过后台视频地图引擎和标签添加及交互功能，能够对厂区高点视频画面中的建筑、道路、摄像机、设 施等进行实景标注，整体形成一张智慧化的视频实景地图。 倾斜摄影地图 平台支持利用无人机对厂区进行航拍生成倾斜摄影地图。 大数据的手动跨镜追踪为用户在追踪过程中提供了一种嫌疑目标逃窜路径智能化的视频预判。 全息场景回溯 平台能将安全事故发生时的高点视频、低点视频、标签、抓拍图片、报警信息等场景元素存储下来，在 事后查找线索时，可通过场景回溯引擎对历史场景元素进行还原重建，并将这些元素与场景进行关联，所有 元素能根据时间轴进行同步，在重建的历史场景中能够完成各种信息的交互、查询，真实的还原事件现场。 无人机 AR 融合监控 无人机应 控各个管线区域的实时运行态势。 影 甲 口 X 南沙区 民众 万 u 债市园 口 管道区域实景封控 以管道区域摄像机视频画面为载体，通过后台视频地图引擎和标签添加及交互功能，能够对视频画面中 的管线区域以区域标签形式进行标注，方便监控人员更加直观查看到封控区域，监控人员能更清晰地判断封 控区域是否有可疑车辆或人员进入。 视频智能巡更 平台

据资源中心现有数据 基础上，建设溪源溪小流域数据底板，包括基础数据、监测数据、业务管理数据、跨行 业共享数据、地理空间数据等数据资源内容，并利用福州智慧水利一期水利数据数据资 源中心已建的数据引擎及数据模型成果为本次项目提供数据底板支撑。 3.2.1.1 数据资源数据库 基于福州市水利数据资源中心，在现有数据基础上，梳理归集溪源溪小流域山洪灾 害防御相关数据，包括基础数据、监测数据、业务管理数据、跨行业共享数据、地理空 数据归集模块，按既定数据格式和共享需求，推送数据至福州市水利数据资源中心，实 现水利数据“一数一源、共享交换”。 3.2.1.4 数据引擎 福州溪源溪小流域（溪源水库）数字孪生建设项目数据引擎主要包括数据汇聚、数 据治理、数据挖掘、数据服务等内容，由于福州水利局已建福州智慧水利平台水利数据 资源中心，以上数据引擎的功能由智慧水利平台水利数据资源中心提供支撑，本次项目 不再新建该功能。 3.2.1.5 数据模型 福 2.1.4 溪源溪小流域模型接口及平台 通过对溪源溪小流域防洪调度模涉及的水文水动力模型、淹没分析模型、预报调度 耦合模型和调度寻优模型等的封装，提供 WebServices 接口，将接口作为计算引擎集成 到系统中，为基于数字孪生的溪源溪小流域预报、预警、预警和预案等“四预”相关业 务应用层提供模型云服务支撑。 3.2.2.2 可视化模型 可视化模型依托数据底板的地理空间数据以及参考影像资料，建设自然背景、流场

数据模型展示、大屏投影展示、虚拟现实重现，快速而生动展现园区的园 区概况、创新成果、发展愿景，让参观者快速直观了解园区，有助于提升园区整体形象，是园区对外展示窗口。 智慧物管：可视化平台（指挥调度中心）  基于可视化引擎软件平台和渲染硬件平台，通过 ETL 工具将园区运行整体态势的实时及历史数据，用图形、图像等方式在 现有大屏幕上高清展示。  数据的图形图像高清展示有助于用户形象直观地认知、理解数据含义，有助于数据挖掘和新知识的获取。 据都通过可视化平台展示 智慧物管：可视化平台（指挥调度中心） 3D 数据可视化系统组成 用户业务系统集 Sub 1 Sub 2 SCE Sub n 网络引擎 音频插件 视频插件 3D 引擎 数据插件 电脑动画 脚本引擎 场景管理 同步控制模块 展示模块库 指标模型库 移动控制软件 控制管理软件 数据通讯服务软件 数据可视化软件 数据可视化软件数据库 智慧物管：可视化平台（指挥调度中心） •产品体积小巧，即插即用，安装便捷 •采用通用 OBDII 接口，适用于各种车型 •支持全部 OBDII 协议，标准化的汽车诊断系统 •支持 CDMA ， GPRS 无线通讯技术 •配置高敏感的 GPS 引擎、集成 GPS 天线 •采用三维运动姿态传感器，可检测汽车运动状态 智慧物流 - 车队管理 车辆行驶状态 车辆数据 云电猫车联网 服务系统 定位查车 速度、里程 轨迹回放 安全报警