5.3 4.2 2.2 3.2 4.1.1 4.2.1 4.1.2 4.2.2 4.2.3 2.3 3.3 2.4 前言 大模型对基础设施的挑战 超节点的出现与演进 超节点基础定义与特征 超节点应用案例 总结和展望：迈向未来计算的下一个十年 参考文献 通往通用人工智能之路：最新大模型发展动态 07 07 06 16 21 07 16 21 09 加速人工智能科学计算，服务算法创新 助力行业企业智能化升级 系统特征 AI 技术从单点能力突破迈向系统能力创新 超节点技术产业生态发展格局 基础特征：大带宽、低时延、内存统一编址 超大规模 扩展特征：多级缓存池化、资源灵活配比 超高可靠 灵活切分 大模型计算基础设施的挑战 小结 小结 CONTENTS 目录 超节点发展报告 02 当我们站在人工智能大模型技术飞速发展的十字路口，一个清晰的趋势已然浮现：大模型正沿着 能力提出了更高要求。在这样的背景下，超节点的出现成为了面向大模型未来发展的必 然趋势。 超节点并非简单的硬件堆砌，它的实现离不开基础技术、系统能力与可落地性的三方协同。基础 技术是超节点的根基，其具备超高带宽互联、内存统一编址等技术特征，通过近乎无阻塞的高带宽 互联，将数百上千个 AI 处理器编织为一个逻辑统一的高密度计算体，为高效计算提供了底层支撑。 系统能力则是超节点高效运转的保障，它需要具备大

新型智算中心改造系列报告一： 网络成大模型训练瓶颈 ，节点内外多方案并存 证券研究报告 | 2024 年 5 月 5 日 行业研究 · 行业专题 计算机 · 人工智能 投资评级：超配（维持评级） 请务必阅读正文之后的免责声明及其项下所有内容 • A I 大模型训练和推理拉动智能算力需求快速增长。 a ）模型迭代和数量增长拉动 A I 算力需求增长：从单个模型来看，模型能力持续提升依赖于 存储、平台、散热等维度提出新的要求。 • 网络互联：节点内外多方案并存。 1 ）节点内：私有方案以英伟达 NVLink 为代表， NVLink 已经发展至第五代产品，同时支持 576 个 GPU 之间 的无缝高 速通信；开放技术方案以 OAM 和 UBB 为主， OCP 组织定义了业内通用的 A I 扣卡模组形态（ OAM ） - 基板拓扑结构（ UBB ）设计规 范。 2 ）节点间：主要方 案为 Infiniband 芯片上，数据样本和模型结构被切分到多张卡或者节点上，卡间或节点间不仅有训练数据通信，还有模型 梯度 的频繁传递，对智算中心的网络互联提出新的要求，建议关注宝信软件。 • 风险提示：宏观经济波动、下游需求不及预期、 A I 伦理风险等。 请务必阅读正文之后的免责声明及其项下所有内容 摘要 目录 01 智算 中心： 从集群走 向超级池 化 02 网络互联： 节点 内外多方案并 存

需求侧上报 电网中的节点 输电线路与断面 线路：连接两个母线的物理线路 断面：两个节点之间所有线路连接的集合 母线与节点 母线：发电机组输出通过主变升压连接母线，物理概念 ※ 节点：市场概念，代表一组母线 ( 忽略这些母线之间的堵 塞 ) 母 线 ~ 电源 负荷 母线 ~ 电源 负荷 节点 母线 母线 断面 输电线路 节点 母线 ~ 整个区域网 节点 节点 节点 节点 节点 节点 节点 节点 节点 电能量按节 点交易结算 节点 辅助服务按安 全域交易结算 节点 节点 节点 节点 节点 节点 节点 节点 节点 节点 节点 节点 节点 节点 节点 节点 节点 节点 节点 节点 为什么按安全域设置备用需求 ? 整个区域网 节点 节点 提供备用的电源 提供备用的电源 节点 节点 节点 节点 节点 节点 经常堵塞 节点 节点 机组故障或 负荷急升 节点 电 价 发电侧单边报价或发用两侧报价 基 于 申 报 信 息 以 及 电 网 运 行 边 界 条 件 ， 采 用 安 全 约 束 机 组 组 合 (SCUC) 和安全约束经济调度 (SCED) 程序进行优化计算，出 清得到日前市场交易结果。简单而言，在保证电网安全的前提下，

................................................................................ 39 2.2.6 整机柜服务器节点发展趋势 .............................................................................................. 新型信息基础设施的重要组成部分，呈现多元泛在、 智能敏捷、安全可靠、绿色低碳等特征，为实现“十四五”规划和2035年远景目标纲要中明确提出的“加快构建 全国一体化大数据中心体系，建设若干国家枢纽节点和大数据中心集群”，实现“新基建”、“东数西算”以及 “双碳”等系列目标，国家及地方出台了一系列政策文件，以此推动数据中心产业向节能降耗、绿色环保方向发 展。 表1-1 国家及地方算力基础设施建设相关政策及核心要求 资源、高质量语料库和专业数据集，初步建成以浦江数链为核心的城市区 块链基础设施。（2023年9月） 广东省 《广东省新一代人工智能创新发 展行动计划（2022-2025年）》 依托全国一体化算力网络粤港澳大湾区国家枢纽节点韶关数据中心 集群、国家超级计算广州中心、国家超级计算深圳中心等超算平台，以及 广州人工智能公共算力中心、横琴先进智能计算平台、“鹏城云脑”等智 算平台，研究探索广东省人工智能一体化算力网络，为广东企业和科研院

................................47 4.3.1 信息输入节点机（BQ-I06D-S）..............................................................................47 4.3.2 数字音频节点机（BQ-AV0404）.................................. ................................49 4.3.3 数字音频节点机（BQ-AV1616）.............................................................................50 4.3.4 环境控制节点机（BQ-EV8081）................................... 楼，此会议室以后用途不清。 ② 远程接访（室）系统（涉密网）：目前远程接访室位于办公楼 11 楼，建设有显示系统（2 个电视机）、视频会议终端系统（1 个摄像 机）、视频矩阵系统（1 台矩阵）、环境控制节点机（1 台环境控制 节点机主机、1 台继电盒），但基本上没有使用。 注：即将迁移至西门口“检务服务中心”办公楼，此会议室以后用作统一业务软件 培训教室。 ③ 全体干警会议室：位于办公楼 14 楼，主要用于召开全院干警会议

.. 3 二、边缘算力系统架构 ........................... 5 2.1 总体架构设计 ............................ 5 2.2 边缘算力节点的部署 ..................... 11 2.3 网络连接与通信机制 ..................... 12 2.4 云边协同模式 .................. CPU、GPU、FPGA、ASIC 等，服务器架构具有并存的 x86 架构 与 ARM 架构，导致算力度量、管控和调度需要克服不同芯片厂商的标 准差异。单一边缘节点受限于算力容量、计算资源异构、并发服务总 2 数等短板，难以满足大规模用户的请求，导致各单位建设了大量的边 缘计算节点，不同单位的边缘算力之间缺乏协同机制。各单位先建立 了机房内局域网络，再通过多种运营商网络接入公网，边缘机房的接 入网络既包含无线网 ，边 缘算力系统能根据业务负载动态调度算力，让算力盈余的边缘节点将 闲置资源共享给算力不足的节点或用户，通过节点间任务协作实现资 源高效利用。提高闲置算力的利用率。其次，边缘算力系统通过多节 点冗余备份，邻近节点可快速接管故障节点的任务，显著增强系统抗 风险能力。最后，边缘算力系统通过多样化的网络实现离散边缘算力 3 节点互联互通，具备将网络与算力统一管控的能力，支持网络对计算 任务的动态适配和优化。

...................................................................................44 图表 23 Master 节点宕机预案..............................................................................................45 云计算系统设计方案概述 1.1.1 系统基本功能 按照全省公安机关信息化建设总体规划，为实现对重点车辆的自动比对和 动态管控、对异常车辆行踪的自动研判预警、对特定车辆行车轨迹的自动生成、 对重要节点道路交通信息的远程再现、对基层单位和执勤民警的勤务实施管理 等建设目标，为交通管理、治安管控、侦查破案、巡逻防范、反恐处突等各项 公安工作提供服务保障。 系统的基本功能和性能如下： 海量历史交通监控数据汇总 本项目的设计将严格遵循公安 320 工程相关标准规范。 云技术方案建议书 第 3 页 系统总体设计 1.1.3 智慧交通云平台的云计算解决方案 在公安网内部，构建若干 X86 架构计算/存储节点，虚拟出海量存储空间、 处理能力和数据管理能力。同时研制面向应用的分布式数据处理软件，满足数 据汇总、数据上报、数据入库、数据查询、数据计算和数据管理等应用需求。 图表 1 智慧交通云平台云计算解决方案

有的技术路线。其中量子通信是利用量子不可克隆原理从物理上实现 绝对安全通信；量子计算是利用量子态叠加原理实现并行运算，极大 提高计算速度；而量子精密测量则是突破标准量子极限进一步提升测 量精度。在实用化的过程中，随着用户和节点数目的增加，很自然地 就形成了量子网络。当网络的覆盖面变得很大，类似于当今全球互联 网时，就形成了量子互联网。所以在将量子信息实用化的过程中，对 量子互联网进行深入的研究和发展是必然趋势。 展计算能力的模 型[23,24]。分布式量子计算机的思想是利用非局域的控制非门来协同 多个小型量子处理器来进一步扩展成为一个更大的量子计算机。如果 在量子网络中执行分布式量子计算，那么多个计算节点之间的非局域 控制非门的执行质量非常关键，其会直接关系到整个分布式量子计算 的计算效率。 23 目前由于受到比特数和门操作保真度等技术的限制，很难实现基 于量子纠错码的大规模量子计算机。所以现阶段处于含噪音中等尺度 由于本书主要聚焦于量子互联网，所以简单介绍与量子网络相关 的分布式精密测量方案。分布式量子传感主要是利用非局域量子关联 来实现对空间分布参数的精密测量，具有超越经典测量极限的灵敏度。 24 较为典型的应用场景为多节点的量子相位估计[30-32]、全球的量子时 钟网络[33]和长基线望远镜[34]等。更多关于量子精密测量和传感的 内容可参考文献[28,29]。这里简单介绍两个应用场景。 图 10. 全球量子时钟网络。

需要建设应急预 案和通报机制。 在设计数据库应急预案时，应从硬件、软件、节点、集群、机房等多个维度进行全面考虑，确保在不 同类型的故障发生时，能够快速响应并恢复业务。同时，RTO（恢复时间目标）和RPO（恢复点目 标）的设定应尽量缩短，确保业务的连续性和数据的完整性。 福建海峡银行总结了硬件故障、软件故障、节点故障、集群故障、机房故障、业务故障、性能故障等 几类应急场景，并在实践中设立了应对措施。 在软件故障方面：需要建立软件的冗余机制，如数据库的多实例部署、数据库的热备机制等。软件 故障发生时，能够快速切换到备用实例，确保数据库的持续运行。 在节点故障方面：需要建立节点的冗余机制，如数据库集群的多节点部署、节点的自动故障切换 机制等。节点故障发生时，能够快速切换到其他正常节点，确保集群的持续运行。 在集群故障方面：要建立集群的冗余机制，如多集群多中心部署、要实现集群自动故障检测和转 移机制等。集群故障 动故障切换技术，确保数据强一致性和业 务连续性。 数据可靠性：经过腾讯核心业务��余年 验证，数据可靠性达到��.�����%。 服务可用性：支持��.���%以上的高可 用性，即使节点故障也能快速恢复服务。 分布式架构设计 �个�以上的可靠性 提供强大的智能化管控、运维系统，凭借 DBbrain 数 据 库 自 治 云 服 务 体 系、 DBbridge 一 站 式 迁 移

状况的基础上，借助统一的度量范式对资源量进行对比与评估，再结 合任务的计算强度、时延要求和数据依赖等特征，以及网络带宽和能 量预算等约束，运用自适应的智能调度算法将大规模的计算任务分散 到不同的计算节点上，从而实现高效的数据处理和分析。本白皮书阐 述了分布式算力感知与调度的背景、体系结构、关键技术、应用场景、 发展建议，旨在为有兴趣了解分布式算力感知与调度相关概念和技术 的研究人员提供介绍与 分布式算力是相对于传统集中式算力（如单一超级数据中心）而 言的算力部署与利用模式，其核心是将一个大的计算任务分解成若干 个小任务，然后把这些小任务分配给地理、网络层级或逻辑上相互独 立的多个节点。这些计算节点可涵盖数据中心、边缘设备（如基站、 物联网网关）、终端设备甚至个人闲置设备等，通过网络连接形成协 同体系，实现算力资源的分布式协同与高效利用。分布式算力并非单 一形态，边缘算力是前者重要组成部分，是分布式思想的一种具体体 依存、紧密结合的环节。“感知”是基础和前提，它指的是系统具备 全面、实时、精准地获取分布式网络中各个计算节点资源状态的能力。 具体而言，感知过程涵盖多维度：首先，系统需自动发现并注册新计 算节点，识别其 CPU、GPU、FPGA 等类型，以及内存、存储容量等基 础属性。其次，通过轻量探针或节点遥测数据，实时监控 CPU/GPU 利 用率、存储占用率、网络带宽与延迟、负载水平、功耗及环境温度等