新型智算中心改造系列报告一： 网络成大模型训练瓶颈 ，节点内外多方案并存 证券研究报告 | 2024 年 5 月 5 日 行业研究 · 行业专题 计算机 · 人工智能 投资评级：超配（维持评级） 请务必阅读正文之后的免责声明及其项下所有内容 • A I 大模型训练和推理拉动智能算力需求快速增长。 a ）模型迭代和数量增长拉动 A I 算力需求增长：从单个模型来看，模型能力持续提升依赖于 存储、平台、散热等维度提出新的要求。 • 网络互联：节点内外多方案并存。 1 ）节点内：私有方案以英伟达 NVLink 为代表， NVLink 已经发展至第五代产品，同时支持 576 个 GPU 之间 的无缝高 速通信；开放技术方案以 OAM 和 UBB 为主， OCP 组织定义了业内通用的 A I 扣卡模组形态（ OAM ） - 基板拓扑结构（ UBB ）设计规 范。 2 ）节点间：主要方 案为 Infiniband 芯片上，数据样本和模型结构被切分到多张卡或者节点上，卡间或节点间不仅有训练数据通信，还有模型 梯度 的频繁传递，对智算中心的网络互联提出新的要求，建议关注宝信软件。 • 风险提示：宏观经济波动、下游需求不及预期、 A I 伦理风险等。 请务必阅读正文之后的免责声明及其项下所有内容 摘要 目录 01 智算 中心： 从集群走 向超级池 化 02 网络互联： 节点 内外多方案并 存

................................................................................ 39 2.2.6 整机柜服务器节点发展趋势 .............................................................................................. 新型信息基础设施的重要组成部分，呈现多元泛在、 智能敏捷、安全可靠、绿色低碳等特征，为实现“十四五”规划和2035年远景目标纲要中明确提出的“加快构建 全国一体化大数据中心体系，建设若干国家枢纽节点和大数据中心集群”，实现“新基建”、“东数西算”以及 “双碳”等系列目标，国家及地方出台了一系列政策文件，以此推动数据中心产业向节能降耗、绿色环保方向发 展。 表1-1 国家及地方算力基础设施建设相关政策及核心要求 资源、高质量语料库和专业数据集，初步建成以浦江数链为核心的城市区 块链基础设施。（2023年9月） 广东省 《广东省新一代人工智能创新发 展行动计划（2022-2025年）》 依托全国一体化算力网络粤港澳大湾区国家枢纽节点韶关数据中心 集群、国家超级计算广州中心、国家超级计算深圳中心等超算平台，以及 广州人工智能公共算力中心、横琴先进智能计算平台、“鹏城云脑”等智 算平台，研究探索广东省人工智能一体化算力网络，为广东企业和科研院

Gauss【4】 【节点数】 Hadoop技术栈 MPP技术栈 混布 *HDFS同部署组件：HDFS + Hudi + Hive + Spark + Yarn *Hbase同部署组件： HBASE + HDFS ElasticSearch【10】 新集群 管控节点（3） 数据节点（25） 原服务器 管控节点 【 3】 数据节点【 22】 新增： 数据节点【 25】 合计：（50） 管控节点 (3) 数据节点（47） 管控节点，都用新服务器 管控节点【 2】 数据节点【 20】 原服务器 管控节点【 3】 (2管理节点移走控制服 务） 数据节点【 58】 新增：【 29】 控制节点（2） 数据节点（27） 合计： 【 90】 管控节点 【 5】 数据节点【 85】 数据节点 数据节点 数据节点 数据节点 湖仓一体平台总规模：190节点 设备利旧，新增104节点 原则： 原则： 1、管控节点比较重要，用高配新机器 2、超过30个节点的集群，管理控制节点 要分开 3、利旧，旧的服务器尽量放到湖仓一体 集群 4、集群改动小原则 5、新的集群，全用新的服务器（Gauss， 实时计算集群） 03 创新点及技术实现特点 主要内容：项目建设创新点、技术实现特点。 3.1 创新点 多集群部署架构， 降低集群间耦合 关系 按照不同组件技术 特性，规划数据层

建设 绿色低碳、高效节能的数据中心。相关部门出台了一系列指导性文件：到 2025 年，全国新建大型、超大型数据中心的电能利用效率（PUE）需控制在 1.3 以 下，而重点区域如东数西算国家枢纽节点的 PUE 更是要求低于 1.25。这些政 策导向使得传统风冷式数据中心难以兼顾节能与提高上架率的双重目标，从而 加速了液冷技术的应用普及。 从市场发展来看，中国液冷数据中心市场规模持续增长。据统计，截至 技术方案缺乏统一标准，这给终端用户的系统选型、设备部署及运维管理带来 了诸多挑战。 在技术发展层面，尽管面临诸多挑战，业界已在 OAI（开放加速器接口） 和 UBB（OCP 通用基板）等标准化方面取得了显著进展。特别是超节点整机 柜架构设计日益受到关注，这一创新方案通过支持更多 AI 加速器的高速互联， 为构建更高密度、更高效能的计算集群提供了新的技术方向。 我们期望通过本报告的发布，能够进一步促进行业内各方的深度交流与协 ................... 26 4.2 服务器节点 ...................................................................................................................... 27 4.3 交换节点 ................................

关，决定了训练加速比的上 限，因此需要网络尽可能降低时延，目标在亚微秒级。 2）极低抖动：网络抖动同样是影响JCT的重要因素，集合通信的流程一般可分解为计 算节点之间的多次平行的点对点通信，存在木桶效应，每一步计算中，需要所有节点全部完 成点对点通信后，才能进行下一步计算。网络抖动会引发点对点通信时延增加，直接影响集 合通信的计算效率。 3）有效高吞吐：大模型训练期间的数据通信体量巨大，可达几百TB级别。机间GPU高 单项指标的提升无法有效提高吞吐率，还可能导致此消彼长效应，丢包、时延、吞吐往往会 相互影响。 中兴通讯版权所有未经许可不得扩散 6 3.1.4 多维自动化运维体系是必需 与通用数据中心网络相比，HP-DCN网络具有节点链路规模大、流量突发性强、集群 系统复杂等特性，在网络运维领域，对运维体系提出了以下需求： 1）广度——全面覆盖每个潜在故障点。AI大模型训练网络中的任何链路问题都可能产 生广泛影响，鉴于GP 续 时间仅为毫秒至数十毫秒的吞吐量波动。在秒级尺度下观察时，链路似乎处于稳定低负载状 态而无明显波动。这种表象与实际情况存在巨大差异，在逻辑上将导致不同的故障发现和定 位结果。 3）深度——节点级别的根因监控实现快速排障和自愈功能。对于承载AI大模型训练流 量的ROCE高性能网络而言，一旦检测到异常情况，运营系统必须深入分析以确定根本原因。 这包括多个数据源之间的关联分析以及因果关系推理。系统需追踪复杂的关系链并找出最初

丰富的异构算力。而基于通信网络的点多面广的特点，其算力资源也将是分布式部署的。分布的算 力对数据转发的需求不同于传统的通信网络，数据通路将不只是从终端设备到核心网用户面节点的 一对一的方式，还需要实现终端设备到不同算力节点之间多点到多点的数据交换方式。6G 网络需要 进一步增强数据转发的灵活性来满足这种需求。 自动化智能化的管理编排 随着网络架构和功能的变化，6G 网络的编排管理也会变得更加复杂，自动化和智能化也是其发 移动架构。在这种模式下，SRv6 取代了 GTP-U 协议，但是 N3、N9 和 N6 接口仍然是点 对点接口。第二种模式是"增强模式"。这是从"传统模式"演变而来的。在这种模式下，N3、N9 或 N6 接口有中间节点 SID，这些中间节点用于流量工程或 VNF，对 3GPP 功能透明。在传统模式和增 强模式中，假设 gNB 和 UPF 是 SR 感知的（N3、N9 和 N6 接口是 SRv6）。除了这两种模式外，还 引入了两种机制，用于与传统接入网（那些 户面替代固定功能用户面，因固定功能的用户面设备会内置许多协议组合的超集，导致一些珍贵的 用户面资源被用到了一些不需要的协议上。使用可编程用户面可精简协议，减少出错率，提高利用 率。同时，6G 系统中控制面节点和用户面节点之间的 N4 接口服务化、用户面功能的服务化，实现 核心网的全服务化。6G 可编程用户面的架构如下： 图 3：可编程用户面总体架构 14 / 33 在传统的移动网络和数据网络中，通常通过边界网关实现基本的互联能力，依赖

系统计算复 杂度的一种手段。在超大规模 MIMO 系统中，将 AI 算法用于信道估计、接收检测、CSI （Channel State Information，信道状态信息）压缩反馈等，可有效降低通信节点的计算复杂 度。 2.1.1.2 Pseudo MIMO 技术 Pseudo MIMO 技术是一种全新的 MIMO-OFDM 无线传输方案[20]。该方案突破了传统 MIMO 系统传输流数受 Channel，PBCH）、SSB 等； - 进行时域/空域自适应增强，如对小区不连续发送/不连续接收进行增强，进行 TxRU/TRP 开 /关适配等； - 基于低功率信号的传输与唤醒，如对同步信号传输、节点唤醒等过程进行低功率信号设计。 14 / 87 2.1.1.4 低开销 CSI 反馈设计 高精度的下行信道状态信息的获取对充分发挥 MIMO 潜力，提升频谱效率与系统性能 至关重要。随着超大规模 具有更大的灵活性。 分布式 MIMO 的信号处理包括调度、预编码/波束赋形、信道估计、时频误差互易性误 差校准等。采用先进的信号处理算法可以提升分布式 MIMO 传输性能。如对更多的网络节 点、节点的传输方式、无线资源分配等联合进行优化，以获得最优调度策略。根据全部或部 分信道信息、上下行 duality、或其它优化目标进行最优预编码设计。对资源分配和信号处 理进行联合设计，如预编码和功率

提升数倍。韩国运营商 KT 与 SK Telecom 的联合试验显示，动态频谱共享使郊 区基站的频谱利用率从 45%提升至 82%，用户平均下载速率提高 60%。 在边缘计算场景中，联盟网络支持跨运营商边缘节点资源池化。用户无论接 入哪家网络，均可就近访问计算资源。例如，某跨国物流企业通过联邦边缘计算 协调多国仓库的本地算力，提升了全球运单处理速度，同时降低了 IT 成本。 3 / 25 1.2.2 类型划分，可以包括计算管理模块（Computing Management Module，CMM）、数 据管理模块（Data Management Module，DMM）等，每一个模块分别代表相应业 务，其可能由多个节点及多个功能构成。比如计算管理模块，可能包含计算资源 感知功能、计算任务分配功能、计算通信匹配功能等。因其为网络内部业务，具 体构成不是联盟网络关注的重点，因此用模块进行代指。 CNU 主要包括联盟控制模块（Consociated 大型行业网络等，是分布式账本的管理员角色。TCM 可以对分布式账本行使区块 创建的共识能力，可以创建不涉及账本参数的区块，但无法创建账本参数区块。 共识需要消耗一定性能及能源，因此具备 TCM 节点一般性能较为强大且对能源 8 / 25 使用不敏感，如基站、车辆等。TAM 只具备分布式账本的使用能力，比如查看账 本内容、提出区块内容写入请求等。三种模块根据主体网络的权限和需要按需选 择

...................................7 2.1.1 算力芯片 ......................................7 2.1.2 智算超节点 ....................................7 2.1.3 算力原生 ......................................8 2.2 存储技术 计算技术 随着模型参数量与复杂度指数级增长，当前智算集群在算力密度、通信效率、 能效比方面面临严峻挑战。中国移动充分发挥央企科技创新示范引领作用，聚焦 “卡脖子”方向，攻关国产高算力芯片、智算超节点、算力原生等关键技术，突 破万亿模型训练与推理性能瓶颈，打造低成本、高能效、自主可控的算力底座， 引领云智算基础设施从规模扩张走向效能跃升的新阶段。 2.1.1 算力芯片 大模型训练和推理对 指令集，打造 AI 智算开放新生态。 2.1.2 智算超节点 2024 年英伟达发布的 NVL72 超节点支持单机内 72 个 GPU 高速互联，重构全 球智能算力竞争格局，进一步拉大中美算力技术代差。为此，中国移动基于原创 COCA 异构计算架构 [1][2]，联合 GPU 芯片、交换芯片、服务器整机等国产全产业链 伙伴，打造开放式架构大云磐石超节点，为大模型训练和推理提供更高吞吐、更 8

..................................................................................... 36 7.2.5 终端节点（VPCEP） ........................................................................................... 租户负责部署配置：（1）其虚拟网络的防火墙，网关和高级安全服务等的策略配 置；（2）租户的虚拟网络、虚拟主机和访客虚拟机和容器等云服务所必需的安全 配置和管理任务（包括更新和安全补丁）、容器安全管理（包括容器集群、节点和 容器的安全配置、访问控制安全配置等）、大数据分析等平台服务的租户配置； （3）其他各项租户租用的云服务内部的安全配置等；（4）其自行部署在华为云的 任何应用程序软件或实用程序进行安全管理。 ⚫ 电线路安装了多级避雷 器，导走电流。 6.3 网络安全 华为云数据中心节点众多、功能区域复杂。为了简化网络安全设计，阻止网络攻击在 华为云中的扩散，最小化攻击影响，华为云参考 ITU E.408 安全区域的划分原则并结 合业界网络安全的优秀实践，对华为云网络进行安全区域、业务层面的划分和隔离。 安全区域内部的节点具有相同的安全等级。华为云从网络架构设计、设备选型配置到 运行维护诸方面综合考