5.3 4.2 2.2 3.2 4.1.1 4.2.1 4.1.2 4.2.2 4.2.3 2.3 3.3 2.4 前言 大模型对基础设施的挑战 超节点的出现与演进 超节点基础定义与特征 超节点应用案例 总结和展望：迈向未来计算的下一个十年 参考文献 通往通用人工智能之路：最新大模型发展动态 07 07 06 16 21 07 16 21 09 加速人工智能科学计算，服务算法创新 助力行业企业智能化升级 系统特征 AI 技术从单点能力突破迈向系统能力创新 超节点技术产业生态发展格局 基础特征：大带宽、低时延、内存统一编址 超大规模 扩展特征：多级缓存池化、资源灵活配比 超高可靠 灵活切分 大模型计算基础设施的挑战 小结 小结 CONTENTS 目录 超节点发展报告 02 当我们站在人工智能大模型技术飞速发展的十字路口，一个清晰的趋势已然浮现：大模型正沿着 能力提出了更高要求。在这样的背景下，超节点的出现成为了面向大模型未来发展的必 然趋势。 超节点并非简单的硬件堆砌，它的实现离不开基础技术、系统能力与可落地性的三方协同。基础 技术是超节点的根基，其具备超高带宽互联、内存统一编址等技术特征，通过近乎无阻塞的高带宽 互联，将数百上千个 AI 处理器编织为一个逻辑统一的高密度计算体，为高效计算提供了底层支撑。 系统能力则是超节点高效运转的保障，它需要具备大

................................................................................ 39 2.2.6 整机柜服务器节点发展趋势 .............................................................................................. 新型信息基础设施的重要组成部分，呈现多元泛在、 智能敏捷、安全可靠、绿色低碳等特征，为实现“十四五”规划和2035年远景目标纲要中明确提出的“加快构建 全国一体化大数据中心体系，建设若干国家枢纽节点和大数据中心集群”，实现“新基建”、“东数西算”以及 “双碳”等系列目标，国家及地方出台了一系列政策文件，以此推动数据中心产业向节能降耗、绿色环保方向发 展。 表1-1 国家及地方算力基础设施建设相关政策及核心要求 资源、高质量语料库和专业数据集，初步建成以浦江数链为核心的城市区 块链基础设施。（2023年9月） 广东省 《广东省新一代人工智能创新发 展行动计划（2022-2025年）》 依托全国一体化算力网络粤港澳大湾区国家枢纽节点韶关数据中心 集群、国家超级计算广州中心、国家超级计算深圳中心等超算平台，以及 广州人工智能公共算力中心、横琴先进智能计算平台、“鹏城云脑”等智 算平台，研究探索广东省人工智能一体化算力网络，为广东企业和科研院

.. 3 二、边缘算力系统架构 ........................... 5 2.1 总体架构设计 ............................ 5 2.2 边缘算力节点的部署 ..................... 11 2.3 网络连接与通信机制 ..................... 12 2.4 云边协同模式 .................. CPU、GPU、FPGA、ASIC 等，服务器架构具有并存的 x86 架构 与 ARM 架构，导致算力度量、管控和调度需要克服不同芯片厂商的标 准差异。单一边缘节点受限于算力容量、计算资源异构、并发服务总 2 数等短板，难以满足大规模用户的请求，导致各单位建设了大量的边 缘计算节点，不同单位的边缘算力之间缺乏协同机制。各单位先建立 了机房内局域网络，再通过多种运营商网络接入公网，边缘机房的接 入网络既包含无线网 ，边 缘算力系统能根据业务负载动态调度算力，让算力盈余的边缘节点将 闲置资源共享给算力不足的节点或用户，通过节点间任务协作实现资 源高效利用。提高闲置算力的利用率。其次，边缘算力系统通过多节 点冗余备份，邻近节点可快速接管故障节点的任务，显著增强系统抗 风险能力。最后，边缘算力系统通过多样化的网络实现离散边缘算力 3 节点互联互通，具备将网络与算力统一管控的能力，支持网络对计算 任务的动态适配和优化。

有的技术路线。其中量子通信是利用量子不可克隆原理从物理上实现 绝对安全通信；量子计算是利用量子态叠加原理实现并行运算，极大 提高计算速度；而量子精密测量则是突破标准量子极限进一步提升测 量精度。在实用化的过程中，随着用户和节点数目的增加，很自然地 就形成了量子网络。当网络的覆盖面变得很大，类似于当今全球互联 网时，就形成了量子互联网。所以在将量子信息实用化的过程中，对 量子互联网进行深入的研究和发展是必然趋势。 展计算能力的模 型[23,24]。分布式量子计算机的思想是利用非局域的控制非门来协同 多个小型量子处理器来进一步扩展成为一个更大的量子计算机。如果 在量子网络中执行分布式量子计算，那么多个计算节点之间的非局域 控制非门的执行质量非常关键，其会直接关系到整个分布式量子计算 的计算效率。 23 目前由于受到比特数和门操作保真度等技术的限制，很难实现基 于量子纠错码的大规模量子计算机。所以现阶段处于含噪音中等尺度 由于本书主要聚焦于量子互联网，所以简单介绍与量子网络相关 的分布式精密测量方案。分布式量子传感主要是利用非局域量子关联 来实现对空间分布参数的精密测量，具有超越经典测量极限的灵敏度。 24 较为典型的应用场景为多节点的量子相位估计[30-32]、全球的量子时 钟网络[33]和长基线望远镜[34]等。更多关于量子精密测量和传感的 内容可参考文献[28,29]。这里简单介绍两个应用场景。 图 10. 全球量子时钟网络。

需要建设应急预 案和通报机制。 在设计数据库应急预案时，应从硬件、软件、节点、集群、机房等多个维度进行全面考虑，确保在不 同类型的故障发生时，能够快速响应并恢复业务。同时，RTO（恢复时间目标）和RPO（恢复点目 标）的设定应尽量缩短，确保业务的连续性和数据的完整性。 福建海峡银行总结了硬件故障、软件故障、节点故障、集群故障、机房故障、业务故障、性能故障等 几类应急场景，并在实践中设立了应对措施。 在软件故障方面：需要建立软件的冗余机制，如数据库的多实例部署、数据库的热备机制等。软件 故障发生时，能够快速切换到备用实例，确保数据库的持续运行。 在节点故障方面：需要建立节点的冗余机制，如数据库集群的多节点部署、节点的自动故障切换 机制等。节点故障发生时，能够快速切换到其他正常节点，确保集群的持续运行。 在集群故障方面：要建立集群的冗余机制，如多集群多中心部署、要实现集群自动故障检测和转 移机制等。集群故障 动故障切换技术，确保数据强一致性和业 务连续性。 数据可靠性：经过腾讯核心业务��余年 验证，数据可靠性达到��.�����%。 服务可用性：支持��.���%以上的高可 用性，即使节点故障也能快速恢复服务。 分布式架构设计 �个�以上的可靠性 提供强大的智能化管控、运维系统，凭借 DBbrain 数 据 库 自 治 云 服 务 体 系、 DBbridge 一 站 式 迁 移

状况的基础上，借助统一的度量范式对资源量进行对比与评估，再结 合任务的计算强度、时延要求和数据依赖等特征，以及网络带宽和能 量预算等约束，运用自适应的智能调度算法将大规模的计算任务分散 到不同的计算节点上，从而实现高效的数据处理和分析。本白皮书阐 述了分布式算力感知与调度的背景、体系结构、关键技术、应用场景、 发展建议，旨在为有兴趣了解分布式算力感知与调度相关概念和技术 的研究人员提供介绍与 分布式算力是相对于传统集中式算力（如单一超级数据中心）而 言的算力部署与利用模式，其核心是将一个大的计算任务分解成若干 个小任务，然后把这些小任务分配给地理、网络层级或逻辑上相互独 立的多个节点。这些计算节点可涵盖数据中心、边缘设备（如基站、 物联网网关）、终端设备甚至个人闲置设备等，通过网络连接形成协 同体系，实现算力资源的分布式协同与高效利用。分布式算力并非单 一形态，边缘算力是前者重要组成部分，是分布式思想的一种具体体 依存、紧密结合的环节。“感知”是基础和前提，它指的是系统具备 全面、实时、精准地获取分布式网络中各个计算节点资源状态的能力。 具体而言，感知过程涵盖多维度：首先，系统需自动发现并注册新计 算节点，识别其 CPU、GPU、FPGA 等类型，以及内存、存储容量等基 础属性。其次，通过轻量探针或节点遥测数据，实时监控 CPU/GPU 利 用率、存储占用率、网络带宽与延迟、负载水平、功耗及环境温度等

Gauss【4】 【节点数】 Hadoop技术栈 MPP技术栈 混布 *HDFS同部署组件：HDFS + Hudi + Hive + Spark + Yarn *Hbase同部署组件： HBASE + HDFS ElasticSearch【10】 新集群 管控节点（3） 数据节点（25） 原服务器 管控节点 【 3】 数据节点【 22】 新增： 数据节点【 25】 合计：（50） 管控节点 (3) 数据节点（47） 管控节点，都用新服务器 管控节点【 2】 数据节点【 20】 原服务器 管控节点【 3】 (2管理节点移走控制服 务） 数据节点【 58】 新增：【 29】 控制节点（2） 数据节点（27） 合计： 【 90】 管控节点 【 5】 数据节点【 85】 数据节点 数据节点 数据节点 数据节点 湖仓一体平台总规模：190节点 设备利旧，新增104节点 原则： 原则： 1、管控节点比较重要，用高配新机器 2、超过30个节点的集群，管理控制节点 要分开 3、利旧，旧的服务器尽量放到湖仓一体 集群 4、集群改动小原则 5、新的集群，全用新的服务器（Gauss， 实时计算集群） 03 创新点及技术实现特点 主要内容：项目建设创新点、技术实现特点。 3.1 创新点 多集群部署架构， 降低集群间耦合 关系 按照不同组件技术 特性，规划数据层

建设 绿色低碳、高效节能的数据中心。相关部门出台了一系列指导性文件：到 2025 年，全国新建大型、超大型数据中心的电能利用效率（PUE）需控制在 1.3 以 下，而重点区域如东数西算国家枢纽节点的 PUE 更是要求低于 1.25。这些政 策导向使得传统风冷式数据中心难以兼顾节能与提高上架率的双重目标，从而 加速了液冷技术的应用普及。 从市场发展来看，中国液冷数据中心市场规模持续增长。据统计，截至 技术方案缺乏统一标准，这给终端用户的系统选型、设备部署及运维管理带来 了诸多挑战。 在技术发展层面，尽管面临诸多挑战，业界已在 OAI（开放加速器接口） 和 UBB（OCP 通用基板）等标准化方面取得了显著进展。特别是超节点整机 柜架构设计日益受到关注，这一创新方案通过支持更多 AI 加速器的高速互联， 为构建更高密度、更高效能的计算集群提供了新的技术方向。 我们期望通过本报告的发布，能够进一步促进行业内各方的深度交流与协 ................... 26 4.2 服务器节点 ...................................................................................................................... 27 4.3 交换节点 ................................

智慧园区的各种研究炙手可热，人类正在快速进入一个数字化、智慧化的新时代， 智慧化的管理和服务正在改变着人们的生活。智慧园区是智慧城市重要的表现形式 和缩影，但目前的建设中存在着数据压力不平衡、感知节点数量少、无线传感能力 有限、非结构化数据分析能力不足等问题。 本文首先分析了国内外的研究现状，通过需求分析确定了满足绿色环保需求、 高效快捷需求、安全防范需求和智慧人文需求为系统的开发目标，并做出了以下工 作：1）进行了信息平台的总体设计，提出了园区的整体技术架构和功能架构，并对 传输网络、传感系统等组成部分进行了设计；2）针对园区海量数据采集和传输的需 求，采用了组网方式多、节点增删灵活、能耗低、节点容量大的 ZigBee 技术，对其 传感器节点、路由器、协调器等系统硬件和采集节点、路由器、协调器等系统软件 进行了设计，并将这一方案应用于园区的海量环境数据采集和传输，实现了环境智 能监测的采集层和传输层的各项功能；3）针对安保功能、环境灾害救援功能、智慧 地面积大，厂房、 仓库多等特点，特别是化工厂、汽油制品厂等众多区域存在着安全隐患，这就需要 对这些区域进行必要的环境安全监测，监测的节点越多、处理速度越快是越有利的， 因此，如何利用 ZigBee 技术具有的无线传感节点增删灵活、无线传感组网种类多、 节点容量大、能耗低、传输距离远等优势进行无线传感网络设计是文章拟解决的关 键技术之一。 4）设计智慧视频的算法和深度学习机的算法问题。随着科技的发展和技术的进

四是低压侧计量、调度控制系统复杂度与可靠性矛盾突出，分布式光伏“四可”（可观、可测、可控、可调）及 未来可溯源、可聚合、可交易等新业态都要求在技术层面实现“感知 - 本地通信 - 网关 - 远程通信 - 控制主站”全链 条协同，多节点故障率叠加（如通信延迟＞ 500ms）可能引发连锁停电风险。 五是分布式光伏经济性与投资回报压力，低压台区数字化升级单台区成本约 12 万元，南方电网需改造的台区超 50 万个，总投资压力达 600 序号 业务内容 网络规模 （节点数） 698 下行通信速率 （kbps） 698 上行通信速率 （kbps） 645 下行通信速率 （kbps） 645 上行通信速率 （kbps） 1 低压用电信息采集 500 37.2 48.4 44.8 53.2 2 用户远程费控动作 500 3.28 2.24 6.72 3.2 3 低压台区用户停电事 件、节点信息上报 500 0.01 周期性采集 24 小时 / / 低 电表 6 用户远程费控动作 实时控制类 秒级 秒级 99.99% 高 电表 7 低压台区用户停电事件上报 主动上报类 秒级 秒级 99.9% 高 电表 8 网络及节点信息上报 主动上报类 按需 / / 高 通信模组 9 通信模块软件远程升级 数据下发类 按需 / / 高 通信模组 10 低压台区电表广播校时 数据下发类 按需 秒级 99.9% 低 电表 02