数据平台导出 临时区 NAS 存储 ETL 程序 区 Page 14 大数据分析平台总体架构——数据交换层 NAS 存储 Hadoop 集群元数 据区 数据平台 ETL 数 据处理程序区 数据平台临时数 据区 存储数据平台各个 Hadoop 集群的元数据信息，如： HDFS 文件 系统元数据 集团数据交换平台每日获取运输局推送平台提供的业务系统变 化数据，暂存在 NAS 临时数据区 临时数据区 金融数据平台加工计算结果返回给业务系统，暂存在 NAS 临时 数据区 数据平台 ETL 加工处理程序（数据压缩、数据加载、各数据数据 处理等）统一存储在 NAS 集群指定目录，各接口服务器通过文 件系统 Link 建立映射 Page 15 大数据分析平台总体架构——数据交换层大数据交换组件  企业内部非结构 化、半结构化数 据，如：音频、视 频、邮件、 Office 文档、抵押品扫描 行文件级数据质量检 查  数据加载，调用 Hive Load 数据命 令，加载到数据平台 临时数据区的 Hive  组件以实时和批量模 式实现下列功能：  数据采集，轮询 NAS 集群指定目录，获取数 据文件（ LZO 压缩）  数据核查，对数据文件 进行质量校验  数据加载，加载数据到 临时数据区  云数据推送平台连接 供应链金融系统数据 库，分析供应链金融

高要求，线下已经打造了国内领先的企业级大数据 平台核心能力 云 MRS 面向线上客户对资源快速发放、资源弹性管理、多样 生态、小版本快速上线等能力， EMR 已具备弹性大 数 据服务成熟能力 1. 大数据集群快速申请和发放 2. 支持多规格资源灵活配比，按需灵活伸缩 3. 基于 CarbonData+ 数据加速引擎 DataTurbor ，计算 性 能优于友商 4. 存算分离后，基于统一的云存储，实现一份数据、一份 ）独立存储到 RDS ，支持跨 AZ 高可 用 1. 企业级运维管理能力，支持多集群管理、滚动升级业 务无感知、精细化监控、在线日志管理等，能力超越 CDH 2. 易交付，可视规划，一键部署安装 3. 完善的多租户管理能力，支持租户资源隔离 4. 支持超大集群资源管理和调度能力 5. 支持大数据容灾和备份能力，单集群无单独故障 6. 支持存算分离，大比例 EC ， TCO 下降 50%+ HCS 8.0 MRS 易部署 所用即所得 1. 一键式集群申请，半小时 级发放 2. 自动发放裸金属、网络等 3. 支持鲲鹏 &X86 混部 易管理 驾驶舱体验 1. 精细化监控告警、日志在线 检索 2. 支持多集群统一管理 3. 支持超大集群资源弹性调度 存算分离 TCO 下降 1. 存算分离，兼容 HDFS 、 OBSFS 、 S3 等接口 2. 企业级 EC

平台部署架构.........................................................................................90 4.2.1 集群节点..........................................................................................90 4.2 务平台。采用下一代先进的云计算关键技术与解决方案，强化公共服务。实现 电子政务系统的物理集中与应用管理的分散。实现应用系统按照需求，向“电子 政务云平台”动态申请计算与存储能力。充分发挥平台集群计算、集群存储、按 需使用、动态扩展的特性。为各级机关、企业提供计算、数据存储和灾备信息 资源服务，实现软硬件统筹规划、统一标准、集中部署、统建共用避免重复投 资  政务应用云化 构建可控安全 计算虚拟化是私有政务云平台的服务器虚拟化组件，是整个云平台架构的 核心组件。在提供基础计算资源的同时，支持 CPU 超分、嵌套虚拟化、RAW 镜 像文件、NUMA 优化、GPU 透传、虚拟机异常重启及集群平滑扩容等特性。 私有云平台计算虚拟化采用 KVM 和 Qemu 等 Hypervisor 组件及技术，将 通用裸金属架构的 x86/ARM 服务器资源进行抽象，以虚拟机的方式呈现给用 户。虚拟机将

华为云 HUAWEI Cloud FusionInsight 运营管理 编排 自动化 运维管理 备注：后续每 3 个月会进行 路 标审视和 刷新 础 设 施 1. 大数据集群快速申请和发放 2. 支持多规格资源灵活配比，按需灵活伸缩 3. 基于 CarbonData+ 数据加速引擎 DataTurbor ，计算性 能优于友商 4. 存算分 AZ 高可 用 1. 企业级运维管理能力，支持多集群管理、滚动升级业 务无感知、精细化监控、在线日志管理等，能力超越 CDH 2. 易交付，可视规划 ，一键部署安装 3. 完善的多租户管理能力，支持租户资源隔离 4. 支持超大集群资源管理和调度能力 5. 支持大数据容灾和备份能力，单集群无单独故障 6. 支持存算分离，大比例 EC ， 和深度学习， 流程 pipeline ，加速数据 价值变现 易管理 驾驶舱体验 1. 精细化监控告警、日志在 线 检索 2. 支持多集群统一管理 3. 支持超大集群资源弹性调 度 易部署 所用即所得 1. 一键式集群申请， 半小 时 级发放 2. 自动发放裸金属、网络等 3. 支持鲲鹏 &X86 混部 面向线下客户对融合、高可靠、易用、持续演进的 高要求，线下已经打造了国内领先的企业级大数据

 一件巡检功能展示  虚拟机状态管理展示 第 15 页  异构芯片服务器资源管理 第 16 页  大屏动态监控展示  分布式存储资源管理展示 第 17 页  分布式存储集群拓扑展示 第 18 页  云操作系统基础设施资源展示 第 19 页 第2章 概述 2.1项目改造意义、改造目标及改造内容 2.1.1 改造目标 本项目定位为面向**市级电子政务 IT 全防护和电子政务云平台自身的安全防护。主要体现如下的几个方面： （1）底层结构安全，主要保障虚拟化平台架构层面安全； 主要参考传统安全防护体系进行保护，主要包括操作系统安全、交换机VLAN 划分、以及集群下存储安全及服务器双机热备，保障可靠性等； 服务器虚拟化安全：虚拟机管理器安全：服务最小化原则、内核模块完整性、 补定管理机制等；虚拟机安全：虚拟机安全隔离、访问控制、恶意虚拟机防护 （防地址欺骗、VM 功能归集为一 个一体化的管理平台，为系统管理、运维提供坚实的平台支撑。 3）多规格的服务能力需求 需要国产数据库云化服务提供多种规格的服务能力，包括提供单节点、并 行处理集群、主备集群、读写分离集群、共享存储集群等。 4）智能运维需求 能够满足智能运维的需求，包括服务能力随业务量弹性伸缩，自动故障恢 复，智能 SQL 计算优化等。 第 67 页 4.7.3.1.2 总体架构 数据库云服务系统是基于

 一件巡检功能展示  虚拟机状态管理展示 第 15 页  异构芯片服务器资源管理 第 16 页  大屏动态监控展示  分布式存储资源管理展示 第 17 页  分布式存储集群拓扑展示 第 18 页  云操作系统基础设施资源展示 第 19 页 第2章 概述 2.1项目改造意义、改造目标及改造内容 2.1.1 改造目标 本项目定位为面向**市级电子政务 IT 全防护和电子政务云平台自身的安全防护。主要体现如下的几个方面： （1）底层结构安全，主要保障虚拟化平台架构层面安全； 主要参考传统安全防护体系进行保护，主要包括操作系统安全、交换机VLAN 划分、以及集群下存储安全及服务器双机热备，保障可靠性等； 服务器虚拟化安全：虚拟机管理器安全：服务最小化原则、内核模块完整性、 补定管理机制等；虚拟机安全：虚拟机安全隔离、访问控制、恶意虚拟机防护 （防地址欺骗、VM 功能归集为一 个一体化的管理平台，为系统管理、运维提供坚实的平台支撑。 3）多规格的服务能力需求 需要国产数据库云化服务提供多种规格的服务能力，包括提供单节点、并 行处理集群、主备集群、读写分离集群、共享存储集群等。 4）智能运维需求 能够满足智能运维的需求，包括服务能力随业务量弹性伸缩，自动故障恢 复，智能 SQL 计算优化等。 第 67 页 4.7.3.1.2 总体架构 数据库云服务系统是基于

非结构化数据采用 NLP 预处理流水线 o 缓存机制实现热点数据毫秒级响应 5. 基础设施层 o 混合云部署架构（政务专有云+公有云隔离区） o GPU 推理集群（NVIDIA A100×16 节点） o 分布式存储（Ceph 集群，PB 级容量） 技术实现要点包含： - 采用服务网格实现层间通信，服务发现 延迟控制在 10ms 内 - 智能体交互协议采用 Protobuf 序列化，压 95%，P99 延迟<1.5s）  日志分析模块每日处理 200GB 操作日志，异常检测准确率 88% 各模块间通过 REST API+消息队列混合通信，服务注册中心采 用 Nacos 集群部署，模块版本变更影响范围控制在 5%以内。在 XX 市试点中，该架构支撑了日均 20 万次智能交互，业务办理时效 提升 40%。 3.2 DeepSeek 集成方案 DeepSeek 集成 失效机制 L1 Redis 92% TTL 15s L2 ES 7% LRU 淘汰 L3 本地内存 1% 请求结束释放 业务流程优化通过动态工作流实现，系统自动生成处理流程图： 性能保障方面，部署集群采用 Kubernetes 自动扩缩容，单个 Pod 配置： - 容器规格：4 核 8GB 内存 - 并发处理量：80 请求/秒 - 故障转移时间：<15 秒 日志审计系统记录完整操作轨迹，包含

上开发和运行处理海量数据的应用程序。它主 要有以下几个优点：  高可靠性 Hadoop 在文件存储和处理数据的能力值得信赖。 53 大数据云平台实施方案  高扩展性 Hadoop 是在可用的计算机集群间分配数据并完成计算任务的， 这些集群可以方便地扩展到数以千计的节点中。  高效性 Hadoop 能够在节点之间动态地移动数据，并保证各个节点的动 态平衡，因此处理速度非常快。  高容错性 Hadoop 据平台集群 物理架构图如下： 54 大数据云平台实施方案 图 17 大数据平台集群示意图 其中主要包括的机器节点描述如下：  ResourceManage 此节点用于运行计算框架 YARN 的主服务节点，控制整个集群的 计算资源的分配和调度。需要有两个节点。  NameNode 此节点用于 Hadoop 集群中的 HDFS 文件系统的存储主节点服务， 控制所有集群中的文件存储相关分析和管理。需要两个节点。 机器用于规划安装一个额外的计算组件、数据库、监控工具等。  WebService 用于集群的对应服务应用的安装，如历史数据查询的接口服务。 3.5.1.2.2 关键点设计及推荐架构 1、Hadoop 集群高可用设计方案 Hadoop 采用 zookeeper 集群实现 HDFS、YARN、HBASE、HIVE 等 集群组件的高可用。所有的重要服务都是双份，通过 Zookeeper 实现 实时的监

池 虚拟 机 多集 群 高可 用 存储服务 块存 储 对象存 储 文件存 储 网络服务 负载均 衡 虚拟网 卡 IaaS 容器平台 资源调度 ｜ 集群管理 ｜ 镜像管理 ｜ 应用管理 ｜ 服务自愈 ｜ 秒级部署 ｜ 弹性伸缩 PaaS c'v 电子公 文 文件交 换 内网门 注：  根据技术要求和厂商产品支持服务 种类进行撰写 云管平台设计方案 26 虚拟计算节点 集群 物理计算节点 （裸金属）集群 政务外网管理服 务器集群 分布式存储系统 政务外网业务区  根据项目需求，本次服务器类型包括管理服务器、虚拟计算节点、物理计算节点等，集群架构如下 注：  常规服务器类型就是计算和管理， 但是有些云厂家会单独规划网络节 点服务器或其他类型服务器 点服务器或其他类型服务器  裸金属服务器一般常用于部署数据 库服务或对性能需求要求较高的服 务 服务器集群方案 - 架构设计（基础设施层） 27  根据本次项目需求，政务外网区部署 100 台服务器，其中 80 台用于虚拟计算节点、 20 台作为物 理计算节点、 5 台用于控制节点（其中两台为网络节点） 区域 节点类型 服务器配置 服务器数 量 政务外 网区 虚拟计算节点 处理器 :

池 虚拟 机 多集 群 高可 用 存储服务 块存 储 对象存 储 文件存 储 网络服务 负载均 衡 虚拟网 卡 IaaS 容器平台 资源调度 ｜ 集群管理 ｜ 镜像管理 ｜ 应用管理 ｜ 服务自愈 ｜ 秒级部署 ｜ 弹性伸缩 PaaS c'v 电子公 文 文件交 换 内网门 注：  根据技术要求和厂商产品支持服务 种类进行撰写 云管平台设计方案 26 虚拟计算节点 集群 物理计算节点 （裸金属）集群 政务外网管理服 务器集群 分布式存储系统 政务外网业务区  根据项目需求，本次服务器类型包括管理服务器、虚拟计算节点、物理计算节点等，集群架构如下 注：  常规服务器类型就是计算和管理， 但是有些云厂家会单独规划网络节 点服务器或其他类型服务器 点服务器或其他类型服务器  裸金属服务器一般常用于部署数据 库服务或对性能需求要求较高的服 务 服务器集群方案 - 架构设计（基础设施层） 27  根据本次项目需求，政务外网区部署 100 台服务器，其中 80 台用于虚拟计算节点、 20 台作为物 理计算节点、 5 台用于控制节点（其中两台为网络节点） 区域 节点类型 服务器配置 服务器数 量 政务外 网区 虚拟计算节点 处理器 :