基础软硬件、相关组件能力逐步提升 行 业 情 况 MRS查询集群 支撑实时计算业务： Ø实时加工：全链路秒级 加工 Ø业务量大：维表千万级/ 流表亿级 Ø高可靠：主备集群容灾 关键组件：Flink、Kafka、 Hudi、DWS MRS实时计算集群 DWS应用集群 MRS批处理集群 支撑高SLA业务查询： Ø高并发 Ø资源独享：物理资源 隔离 Ø高可靠：主备集群容 灾 关键组件：Hbase、 ElasticSearch Hive Tez Spark MR 实时计算 Flink SparkStreaming HetuEngin e（presto） 交互式 分析 ClickHouse 湖模块（MRS） 跨集群数据分析（Hetu） 湖仓一体架构 统一数据服务（数据中台） 共 性 加 工 层 集 市 层 实 时 数 据 区 数字化营销 数字化风控 数字化运营 Ranger 数据安全 Hudi 梳理，使下游数据处理统一采用标准化 数据； • 目前全行系统落标率达95%，后续待所 有系统落标后，取消标准层。 2.5 部署架构 MRS联机查询分析集群 【50】 MRS实时计算集群 【28】 Gauss应用集群 【22】 MRS批处理集群 【90】 HDFS【65】 ClickHouse【10】 HetuEngine【8】 HDFS【13】 HBase【2】 ClickHouse【2】

明“来源： 全球计算联盟”。 1 序 近年来，随着人工智能技术的迅猛发展和数字化转型的深入推进，全球对 高性能算力的需求持续增大。特别是在 AI 训练和推理任务中，高密度计算集群 的功耗需求日益攀升，传统的数据中心散热方案面临着严峻挑战。在此背景 下，液冷技术作为一种高效、节能的散热解决方案，正在加速改变数据中心的 技术架构和产业格局。 本报告引用和发扬了来自全球计算领域的众多专家学者、技术领军者、优 CPU 和 GPU 2 的热设计功耗（TDP）不断提升，传统风冷数据中心在应对高密度、高功耗计 算集群时已显得捉襟见肘。 从硬件形态演进来看，传统的 AI 产品与架构已不能完全满足新的 AI 集群 的需求。随着计算密度的提升，采用低延迟、高带宽互联架构的 AI 集群因其性 能优势而被广泛采用。然而，在液冷整机柜的设计与部署过程中，不同厂家的 技术方案缺乏统一标准，这给终端用户的系统选型、设备部署及运维管理带来 OAI（开放加速器接口） 和 UBB（OCP 通用基板）等标准化方面取得了显著进展。特别是超节点整机 柜架构设计日益受到关注，这一创新方案通过支持更多 AI 加速器的高速互联， 为构建更高密度、更高效能的计算集群提供了新的技术方向。 我们期望通过本报告的发布，能够进一步促进行业内各方的深度交流与协 同创新，共同推动液冷智算中心技术的发展与应用推广，为构建高效、绿色、 智能的未来计算环境贡献智慧和力量。

原生等技术实现了资源池化和弹性扩展能力，有效支撑了各行各业数字化转型。 随着千亿参数大模型等 AI 技术的迅猛发展，传统云服务体系面临严峻挑战，云 计算进入深水区：在算力方面，十万卡级超大规模 GPU 集群的异构算力需求已远 超现有资源池化的调度能力；在网络层面，AI 训练中 TB 级参数同步对时延极为 敏感，传统网络架构难以满足低时延、高吞吐的传输要求；在服务形态上，单一 的 IaaS/PaaS 价值潜能。为此，中国移动针对云智算体系架构形成了计算、存储、网 络、算网一体、AI 开发平台、模型服务、算网大脑等十大关键技术方向。 7 2.云智算关键技术方向 2.1 计算技术 随着模型参数量与复杂度指数级增长，当前智算集群在算力密度、通信效率、 能效比方面面临严峻挑战。中国移动充分发挥央企科技创新示范引领作用，聚焦 “卡脖子”方向，攻关国产高算力芯片、智算超节点、算力原生等关键技术，突 破万亿模型训练与推理性能 传输机制， 从源头上解决多路径 hash 冲突问题，提升智算集群带宽利用率与可靠性。 面向近期，升级 DPU 芯片智算网络带宽，优化 RDMA 传输机制、搭载流控算 法，大幅降低尾时延。联合国产网侧厂商，形成端网协同的端到端解决方案，加 快集群训练收敛速度、降低推理场景响应时延。 面向中远期，持续优化 DPU 芯片智算网络核心能力，提升智算集群利用率。 联合国内芯片厂商，基于 SIMT 架构与 RISC-V

推动算力需求的增长。 b ）未来 A I 应用爆发，推理侧算力需求快速增长：各厂商基于 A I 大模型开发各类 A I 应用，随着 A I 应用用户数量爆发， 对应推 理侧算力需求快速增长。 • 智算中心从集群走向超级池化。智算中心是以 GPU 、 A I 加速卡等智能算力为核心，集约化建设的新型数据中心；随着大模型普遍进入万亿规模， 算 力、显存、互联需求再次升级，高速互联的百卡“超级服务器”可能成为新的设备形态，智算中心将走向超 Management （ SM ） 、连接件组成； RoCEv2 网络 是一个纯分布式的网络，由支持 RoCEv2 的网卡和交换机、连接件、流控机制组成。 InfiniBand 在网络性能、集群规模、运维等方面具备显著优势。 • 投资建议： A I 大模型的参数量和训练数据量的快速增长，对数据中心的计算、存储、网络等提出新的要求，新型智算中心是产业发展趋势； A I 大 模型需要部署在高速互联的多个 建议关注宝信软件。 • 风险提示：宏观经济波动、下游需求不及预期、 A I 伦理风险等。 请务必阅读正文之后的免责声明及其项下所有内容 摘要 目录 01 智算 中心： 从集群走 向超级池 化 02 网络互联： 节点 内外多方案并 存 03 投资建议及风险提示 请务必阅读正文之后的免责声明及其项下所有内容 • 训练数据量 + 参数量大幅提升，模型能力“涌现”

75亿，到GPT-4的1.8万 亿，预计未来GPT-5将达到十万亿参数规模，迅速膨胀的AI模型需要更大规模的算力集群执 行训练。AI大模型以GPU集群分布式训练为基础，根据阿姆达定律，串行占比决定并行效 率上限，网络成为影响算力的重要因素。AI训练任务的高精度并行协同特性以及超大集群互 联吞吐量对网络性能提出了数量级的提升需求。AI大模型训练的时间往往长达数月，也使得 网络的长稳运行变得前 对网络提出高性能 需求，特别是在可扩展性以及分布式资源的高效利用方面，HPC与AI的需求趋同。一般来说 HPC对于时延更加敏感，但部分采用并行通信的计算模型，同样也关注长尾时延。 AI和HPC集群规模和服务范围的扩大对广域网传输也提出全新需求，包含数据协同和数 据快递两大应用场景。数据协同应用主要面向AI/HPC的分布式协同，例如在跨DC的AI训练 过程中的是训前模型和数据上载，以及训练 支持超大规模组网是基础 在Scaling Law（扩展定律）的驱动下，万卡GPU训练集群已成为AIGC核心玩家的及 格线，智算中心正迅速朝着超万卡级别的规模迅速发展，国内云商如阿里巴巴、百度等陆续 宣布具备10万卡集群的支持能力，而Grok-3的训练集群已达到20万卡级别，预计会有更多 10万卡+智算集群出现。 如此大的组网规模势必引发网络技术的质变，高性能网络架构的主要功能设计以及性能

2） 集约高效：随着人工智能对算力需求的高速增长，更高的单体算力性能、更高的算力部署密度和更大的 算力集群规模成为新型数据中心的显著特征。大模型的快速迭代加速了更先进的算力芯片模组、更高带宽的大容 量显存和内存、更大规模的高速互连网络的部署，推动了大规模、高密度、高效协同的算力集群部署和发展。 3）智能运维：随着数据中心规模的扩展，智能化运维成为必然路径。依托智能监控设备、自动化管理软件 的重要组成部分，呈现多元泛在、 智能敏捷、安全可靠、绿色低碳等特征，为实现“十四五”规划和2035年远景目标纲要中明确提出的“加快构建 全国一体化大数据中心体系，建设若干国家枢纽节点和大数据中心集群”，实现“新基建”、“东数西算”以及 “双碳”等系列目标，国家及地方出台了一系列政策文件，以此推动数据中心产业向节能降耗、绿色环保方向发 展。 表1-1 国家及地方算力基础设施建设相关政策及核心要求 为核心的城市区 块链基础设施。（2023年9月） 广东省 《广东省新一代人工智能创新发 展行动计划（2022-2025年）》 依托全国一体化算力网络粤港澳大湾区国家枢纽节点韶关数据中心 集群、国家超级计算广州中心、国家超级计算深圳中心等超算平台，以及 广州人工智能公共算力中心、横琴先进智能计算平台、“鹏城云脑”等智 算平台，研究探索广东省人工智能一体化算力网络，为广东企业和科研院 所提

租户负责部署配置：（1）其虚拟网络的防火墙，网关和高级安全服务等的策略配 置；（2）租户的虚拟网络、虚拟主机和访客虚拟机和容器等云服务所必需的安全 配置和管理任务（包括更新和安全补丁）、容器安全管理（包括容器集群、节点和 容器的安全配置、访问控制安全配置等）、大数据分析等平台服务的租户配置； （3）其他各项租户租用的云服务内部的安全配置等；（4）其自行部署在华为云的 任何应用程序软件或实用程序进行安全管理。 定的端口仅对信任的网络或主机开放，避免大数据集群直接暴露在互联网；（3） 负责大数据集群的用户管理、大数据组件的安全配置，并且妥当保管相关的账户 凭证；（4）以及对其部署在大数据集群上的应用进行安全管理。 ⚫ 使用数据库服务时租户应负责：数据库引擎的生命周期管理及数据库安全管理， 包括（1）缺省使用最新的实例版本、及时根据官网提示和漏洞通告升级版本等； （2）梳理资产分类及制定数据库实例防护策略，如数据库主备及集群设计、数据 Engine）提供高度可扩展的、高性能的企业 级 Kubernetes 集群，支持运行 Docker 容器。借助 CCE，租户可以在华为云上轻松部 署、管理和扩展容器化应用程序。租户通过 CCE 购买 Kubernetes 集群后，将得到一个 托管的 Kubernetes 控制节点和若干个按需创建的工作节点，其中控制节点在创建过程 中将按照基线执行加固，工作节点实际是纳入到 Kubernetes 集群中的虚拟机，租户拥 有管理员权限，可以按需执行各种业务操作和安全配置。

大模型以 GPU 集群分布式训练为基础，带来大量节点间通信消耗，网络成为 AI 算力“瓶颈” 当前业界主流智算中心网络技术被国外厂商垄断，网络芯片存在代际差距，网络可能成为我国 AI 发展的“新卡点” 集群有效算力∝｛ GPU 单卡算力 * 总卡数 * 线性加速比 * 有效运行时｝ 网络设备能力决定 GPU 集群组网规模 网络性能决定 GPU 集群算力加速比 网络可用性决定 GPU 集群稳定性 芯片容量提升 芯片容量提升 2 倍，组网规模提高 4 倍 GPU 集群性能 ≠ 单 GPU 性能 *N 2% 的丢包就会使 RDMA 吞吐率下降为 0 随着 GPU 单卡算力受限，以网强算成为提升大模型训练效率的关键，探索以太网的新调度机制、新接口速 率 和新安全方案，提升智算中心网络性能和整体算力水平 目录 以太网新调度机制— GSE 以太网新接口速率— B400GE 以太网新安全方案 — PHYSec

《中华人民共和国国 民经济和社会发展第 十 四 个 五 年 规 划 和 2035 年远景目标纲要》 加快构建全国一体化大数据中心体系，强化算 力统筹智能调度，建设若干国家枢纽节点和大 数据中心集群，建设 E 级和 10E 级超级计算中 心。 2021 年 5 月 发改委等 4 部门 《全国一体化大数据 中心协同创新体系算 力枢纽实施方案》 在京津冀、长三角、粤港澳大湾区、成渝，以 年 11 月 工信部 《“十四五”大数据产 业发展规划》 加快构建全国一体化大数据中心体系，推进国 家工业互联网大数据中心建设，强化算力统筹 智能调度，建设若干国家枢纽节点和大数据中 心集群。建设高性能计算机群，合理部署超级 计算中心。 2021 年 12 月 中央网络 安全和信 息化委员 会 《“十四五”国家信息 化规划》 加快构建全国一体化大数据中心协同创新体 《关于推动能源电子 产业发展的指导意见》 面向新型电力系统和数据中心、算力中心、电 动机械工具、电动交通工具及换点设施、新型 基础设施等重点终端应用，开展能源电子多元 化试点示范。建立分布式光伏集群配套储能系 统，促进数据中心等可再生能源电力消费。 2023 年 2 月 国务院 《数字中国建设整体 布局规划》 夯实数字中国建设基础，系统优化算力基础设 施布局，促进东西部算力高国效互补和协同联

传感器数据 • 在驾驶数据的基础 上增加针对尾部场 景的模拟仿真数据 算⼒支撑 • 端侧的低算⼒ECU/ 嵌⼊式芯片 • 云侧需要万卡集群 • 端侧需要⾼端推理 芯片，如特斯拉 HW3或者英伟达 Orin/DRIVEThor • 数⼗万卡、百万卡 集群 • 辅助驾驶，由AI来控制单个运 动控制，其他操作由⼈类驾驶 员完成，例如巡航和车道保持 • 部分自动化，⼈类驾驶员为主， 但⼤部分驾驶操作由自动驾驶 在预训练后补充不同驾驶环境的知识 空间智能概览 自动驾驶 3D⽣成 具身智能 扩展现实（XR） 世界模型 自动驾驶已经出现清晰的空间智能Scaling Law，接管里程随底层算⼒扩 展和强化学习新进展快速增加，在百万卡集群支撑下将超过⼈类⽔准 12 信息来源：量⼦位智库，Tesla，1）H100等效算⼒ V12 V13.5/V14 V13 V12.5 Robotaxi • 放弃模块式、基于规则的算法 • 信息来源：量⼦位智库 描述 L1 阶段 L2 L3 L4 L5 数据支撑 • 百万小时真机数据 或⼤量仿真数据 • 百万小时真机数据 加⼤量仿真数据 算⼒支撑 • 千卡集群 • 万卡集群 • 在给定场景范围内有基本的⾏ 动能⼒和操作能⼒，但很难产 ⽣真实的商业价值 • 对于垂直场景（如⼯厂）中的 部分任务可以规模化参与⽣产 ⼯作，提⾼效率和⽣产⼒ 算法支撑 分段式⼤模型