新型智算中心改造系列报告一： 网络成大模型训练瓶颈 ，节点内外多方案并存 证券研究报告 | 2024 年 5 月 5 日 行业研究 · 行业专题 计算机 · 人工智能 投资评级：超配（维持评级） 请务必阅读正文之后的免责声明及其项下所有内容 • A I 大模型训练和推理拉动智能算力需求快速增长。 a ）模型迭代和数量增长拉动 A I 算力需求增长：从单个模型来看，模型能力持续提升依赖于 存储、平台、散热等维度提出新的要求。 • 网络互联：节点内外多方案并存。 1 ）节点内：私有方案以英伟达 NVLink 为代表， NVLink 已经发展至第五代产品，同时支持 576 个 GPU 之间 的无缝高 速通信；开放技术方案以 OAM 和 UBB 为主， OCP 组织定义了业内通用的 A I 扣卡模组形态（ OAM ） - 基板拓扑结构（ UBB ）设计规 范。 2 ）节点间：主要方 案为 Infiniband 芯片上，数据样本和模型结构被切分到多张卡或者节点上，卡间或节点间不仅有训练数据通信，还有模型 梯度 的频繁传递，对智算中心的网络互联提出新的要求，建议关注宝信软件。 • 风险提示：宏观经济波动、下游需求不及预期、 A I 伦理风险等。 请务必阅读正文之后的免责声明及其项下所有内容 摘要 目录 01 智算 中心： 从集群走 向超级池 化 02 网络互联： 节点 内外多方案并 存

................................................................................ 39 2.2.6 整机柜服务器节点发展趋势 .............................................................................................. 新型信息基础设施的重要组成部分，呈现多元泛在、 智能敏捷、安全可靠、绿色低碳等特征，为实现“十四五”规划和2035年远景目标纲要中明确提出的“加快构建 全国一体化大数据中心体系，建设若干国家枢纽节点和大数据中心集群”，实现“新基建”、“东数西算”以及 “双碳”等系列目标，国家及地方出台了一系列政策文件，以此推动数据中心产业向节能降耗、绿色环保方向发 展。 表1-1 国家及地方算力基础设施建设相关政策及核心要求 资源、高质量语料库和专业数据集，初步建成以浦江数链为核心的城市区 块链基础设施。（2023年9月） 广东省 《广东省新一代人工智能创新发 展行动计划（2022-2025年）》 依托全国一体化算力网络粤港澳大湾区国家枢纽节点韶关数据中心 集群、国家超级计算广州中心、国家超级计算深圳中心等超算平台，以及 广州人工智能公共算力中心、横琴先进智能计算平台、“鹏城云脑”等智 算平台，研究探索广东省人工智能一体化算力网络，为广东企业和科研院

Gauss【4】 【节点数】 Hadoop技术栈 MPP技术栈 混布 *HDFS同部署组件：HDFS + Hudi + Hive + Spark + Yarn *Hbase同部署组件： HBASE + HDFS ElasticSearch【10】 新集群 管控节点（3） 数据节点（25） 原服务器 管控节点 【 3】 数据节点【 22】 新增： 数据节点【 25】 合计：（50） 管控节点 (3) 数据节点（47） 管控节点，都用新服务器 管控节点【 2】 数据节点【 20】 原服务器 管控节点【 3】 (2管理节点移走控制服 务） 数据节点【 58】 新增：【 29】 控制节点（2） 数据节点（27） 合计： 【 90】 管控节点 【 5】 数据节点【 85】 数据节点 数据节点 数据节点 数据节点 湖仓一体平台总规模：190节点 设备利旧，新增104节点 原则： 原则： 1、管控节点比较重要，用高配新机器 2、超过30个节点的集群，管理控制节点 要分开 3、利旧，旧的服务器尽量放到湖仓一体 集群 4、集群改动小原则 5、新的集群，全用新的服务器（Gauss， 实时计算集群） 03 创新点及技术实现特点 主要内容：项目建设创新点、技术实现特点。 3.1 创新点 多集群部署架构， 降低集群间耦合 关系 按照不同组件技术 特性，规划数据层

建设 绿色低碳、高效节能的数据中心。相关部门出台了一系列指导性文件：到 2025 年，全国新建大型、超大型数据中心的电能利用效率（PUE）需控制在 1.3 以 下，而重点区域如东数西算国家枢纽节点的 PUE 更是要求低于 1.25。这些政 策导向使得传统风冷式数据中心难以兼顾节能与提高上架率的双重目标，从而 加速了液冷技术的应用普及。 从市场发展来看，中国液冷数据中心市场规模持续增长。据统计，截至 技术方案缺乏统一标准，这给终端用户的系统选型、设备部署及运维管理带来 了诸多挑战。 在技术发展层面，尽管面临诸多挑战，业界已在 OAI（开放加速器接口） 和 UBB（OCP 通用基板）等标准化方面取得了显著进展。特别是超节点整机 柜架构设计日益受到关注，这一创新方案通过支持更多 AI 加速器的高速互联， 为构建更高密度、更高效能的计算集群提供了新的技术方向。 我们期望通过本报告的发布，能够进一步促进行业内各方的深度交流与协 ................... 26 4.2 服务器节点 ...................................................................................................................... 27 4.3 交换节点 ................................

...1 案例 2.异构融合、应用引领、促进数据互联互通的超算互联平台..........................................2 案例 3.临港算力创新实践 提升枢纽节点集约化成效................................................................4 案例 4.打造智算算力网 AI 开发平台 助力人工智能基础设施发展 .................8 案例 6.以算力赋能人工智能产业发展 打造东数西算成渝枢纽新引擎..................................10 案例 7.贵州枢纽节点算力调度平台实践 融入全国一体化算力网规划..................................12 案例 8.绿色智能算力“铁三角”赋能千行万业.................. “三重网络三重算”构建园区新质生产力..................................................................20 案例 12.打造国家枢纽节点公共传输通道服务能力 有效提升“东数西算”网络传输效能 ................22 案例 13.长三角枢纽芜湖集群算力公共服务平台 提供一站式算力服务..................

求持续增长。 为提升高性能智算资源供给、完善算力服务，满足人工智能应用 发展需求，各地正加速推进智算中心建设落地。国家发展和改革委员 会公布的信息显示，“东数西算”工程的 8 个国家算力枢纽节点建设已 全部开工，标志着工程已从系统布局进入全面建设阶段。在区域实践 层面，各地紧扣“枢纽-集群-中心”三级架构，形成差异化发展格局。 例如四川成都天府智算西南智算中心已在投运，聚焦多模态大模型训 MaaS 开放大模型能力，服务各行各业 数字化转型；各类科技公司也积极参与人工智能技术竞争，智算行业 发展迎来新局面，算力普惠普适将成为重要支撑。在智算平台方面， 通过多层级、多主体、异构算力节点的资源调度和交易，促进了智算 资源的高效利用，如中国移动的震泽智算平台，通过分布式云原生 Kosmos 技术和异构混训解决方案，支持大模型跨域、跨芯训练，并 通过算网大脑进行统一调度，推动通、智、边一体化调度，实现“中训 算力供需呈现动态均衡态势。技术架构层面，截至 2024 年底，我国 在用算力中心超 50%连接骨干网，网络互联质量显著提升。区域协同 层面，截至 2025 年 6 月底，国家算力枢纽节点省市内在用标准机架 占全国总量的 70%以上，枢纽节点整体效能与辐射范围持续优化。产 业发展层面，我国算网基础设施升级优化，万卡集群建设加速推进， 带动生成式人工智能应用加速涌现。 在智算规模持续扩大的背景下，基于智算的服务场景不断涌现，

关，决定了训练加速比的上 限，因此需要网络尽可能降低时延，目标在亚微秒级。 2）极低抖动：网络抖动同样是影响JCT的重要因素，集合通信的流程一般可分解为计 算节点之间的多次平行的点对点通信，存在木桶效应，每一步计算中，需要所有节点全部完 成点对点通信后，才能进行下一步计算。网络抖动会引发点对点通信时延增加，直接影响集 合通信的计算效率。 3）有效高吞吐：大模型训练期间的数据通信体量巨大，可达几百TB级别。机间GPU高 单项指标的提升无法有效提高吞吐率，还可能导致此消彼长效应，丢包、时延、吞吐往往会 相互影响。 中兴通讯版权所有未经许可不得扩散 6 3.1.4 多维自动化运维体系是必需 与通用数据中心网络相比，HP-DCN网络具有节点链路规模大、流量突发性强、集群 系统复杂等特性，在网络运维领域，对运维体系提出了以下需求： 1）广度——全面覆盖每个潜在故障点。AI大模型训练网络中的任何链路问题都可能产 生广泛影响，鉴于GP 续 时间仅为毫秒至数十毫秒的吞吐量波动。在秒级尺度下观察时，链路似乎处于稳定低负载状 态而无明显波动。这种表象与实际情况存在巨大差异，在逻辑上将导致不同的故障发现和定 位结果。 3）深度——节点级别的根因监控实现快速排障和自愈功能。对于承载AI大模型训练流 量的ROCE高性能网络而言，一旦检测到异常情况，运营系统必须深入分析以确定根本原因。 这包括多个数据源之间的关联分析以及因果关系推理。系统需追踪复杂的关系链并找出最初

丰富的异构算力。而基于通信网络的点多面广的特点，其算力资源也将是分布式部署的。分布的算 力对数据转发的需求不同于传统的通信网络，数据通路将不只是从终端设备到核心网用户面节点的 一对一的方式，还需要实现终端设备到不同算力节点之间多点到多点的数据交换方式。6G 网络需要 进一步增强数据转发的灵活性来满足这种需求。 自动化智能化的管理编排 随着网络架构和功能的变化，6G 网络的编排管理也会变得更加复杂，自动化和智能化也是其发 移动架构。在这种模式下，SRv6 取代了 GTP-U 协议，但是 N3、N9 和 N6 接口仍然是点 对点接口。第二种模式是"增强模式"。这是从"传统模式"演变而来的。在这种模式下，N3、N9 或 N6 接口有中间节点 SID，这些中间节点用于流量工程或 VNF，对 3GPP 功能透明。在传统模式和增 强模式中，假设 gNB 和 UPF 是 SR 感知的（N3、N9 和 N6 接口是 SRv6）。除了这两种模式外，还 引入了两种机制，用于与传统接入网（那些 户面替代固定功能用户面，因固定功能的用户面设备会内置许多协议组合的超集，导致一些珍贵的 用户面资源被用到了一些不需要的协议上。使用可编程用户面可精简协议，减少出错率，提高利用 率。同时，6G 系统中控制面节点和用户面节点之间的 N4 接口服务化、用户面功能的服务化，实现 核心网的全服务化。6G 可编程用户面的架构如下： 图 3：可编程用户面总体架构 14 / 33 在传统的移动网络和数据网络中，通常通过边界网关实现基本的互联能力，依赖

强大计算 能力、边缘计算节点的低延迟处理能力以及终端设备的本地计算资源 进行有机结合。边缘计算节点靠近数据源，可对低空实时数据进行快 速预处理与初步分析，减少数据传输延迟与云端压力；云端则承担大 规模数据存储、复杂模型训练等任务。 同时，借助智能算力调度算法，依据任务优先级、资源需求特点 以及网络状况等因素动态分配算力资源，实现计算任务在不同层级算 力节点间的灵活调配，确保低空各类应用在不同场景下均能获得高效、 算力需求、数据和计算框架。二是感知资源，平台利用算力标识体系 匹配最优资源和路径，结合高性能传输协议分发任务，确保资源的精 准调度和高效利用。三是传输流动，通过通信网络将计算任务及数据 传输到指定算力资源节点，以低延迟、高带宽实现大规模数据的高效 流动。四是计算执行，任务部署在相应的计算芯片上运行，依托多种 兼容计算框架完成复杂计算。 低空智联算力网应用实践研究报告 14 图 3 算力互联网流程机理示意图 络组成， 为计算任务执行和数据传输提供底层保障。资源互联层通过标识解析、 路径调度、算力度量等功能，实现算力资源的高效互联互通，依托国 低空智联算力网应用实践研究报告 15 家级和区域行业节点，优化资源分配效率。应用服务层则面向用户需 求，提供任务式、资源式和交易类等多样化算力服务，打造便捷普惠 的算力使用方式。 图 4 算力互联网核心架构组网示意图 依托算力互联网，能够将全国范围内的通用计算、智能计算、超

系统计算复 杂度的一种手段。在超大规模 MIMO 系统中，将 AI 算法用于信道估计、接收检测、CSI （Channel State Information，信道状态信息）压缩反馈等，可有效降低通信节点的计算复杂 度。 2.1.1.2 Pseudo MIMO 技术 Pseudo MIMO 技术是一种全新的 MIMO-OFDM 无线传输方案[20]。该方案突破了传统 MIMO 系统传输流数受 Channel，PBCH）、SSB 等； - 进行时域/空域自适应增强，如对小区不连续发送/不连续接收进行增强，进行 TxRU/TRP 开 /关适配等； - 基于低功率信号的传输与唤醒，如对同步信号传输、节点唤醒等过程进行低功率信号设计。 14 / 87 2.1.1.4 低开销 CSI 反馈设计 高精度的下行信道状态信息的获取对充分发挥 MIMO 潜力，提升频谱效率与系统性能 至关重要。随着超大规模 具有更大的灵活性。 分布式 MIMO 的信号处理包括调度、预编码/波束赋形、信道估计、时频误差互易性误 差校准等。采用先进的信号处理算法可以提升分布式 MIMO 传输性能。如对更多的网络节 点、节点的传输方式、无线资源分配等联合进行优化，以获得最优调度策略。根据全部或部 分信道信息、上下行 duality、或其它优化目标进行最优预编码设计。对资源分配和信号处 理进行联合设计，如预编码和功率