5.3 4.2 2.2 3.2 4.1.1 4.2.1 4.1.2 4.2.2 4.2.3 2.3 3.3 2.4 前言 大模型对基础设施的挑战 超节点的出现与演进 超节点基础定义与特征 超节点应用案例 总结和展望：迈向未来计算的下一个十年 参考文献 通往通用人工智能之路：最新大模型发展动态 07 07 06 16 21 07 16 21 09 加速人工智能科学计算，服务算法创新 助力行业企业智能化升级 系统特征 AI 技术从单点能力突破迈向系统能力创新 超节点技术产业生态发展格局 基础特征：大带宽、低时延、内存统一编址 超大规模 扩展特征：多级缓存池化、资源灵活配比 超高可靠 灵活切分 大模型计算基础设施的挑战 小结 小结 CONTENTS 目录 超节点发展报告 02 当我们站在人工智能大模型技术飞速发展的十字路口，一个清晰的趋势已然浮现：大模型正沿着 能力提出了更高要求。在这样的背景下，超节点的出现成为了面向大模型未来发展的必 然趋势。 超节点并非简单的硬件堆砌，它的实现离不开基础技术、系统能力与可落地性的三方协同。基础 技术是超节点的根基，其具备超高带宽互联、内存统一编址等技术特征，通过近乎无阻塞的高带宽 互联，将数百上千个 AI 处理器编织为一个逻辑统一的高密度计算体，为高效计算提供了底层支撑。 系统能力则是超节点高效运转的保障，它需要具备大

信数据空间服务平台在国家数据基础设施架构中的定位是业务节点，在满足业务节点基本要求上结合自 身技术特征扩展了相应功能组件：如数字合约、空间管理等部分；接入连接器在接入可信数据空间时需 3 在通用功能基础上扩展使用控制、数字合约等部分。另一方面，从互联互通的角度，可信数据空间是国 家数据基础设施的一部分，应按照统一目录标识、统一身份登记、统一接口要求，接入区域/行业功能 节点，实现与其他业务节点的互联互通，以及与其他数据基础设施的互信互认及互操作。用户可通过数 识，并可在使用控制技术中融合区块链、数据沙箱、隐私保护计算等技术，保证数据的流通和使用过程 如约执行；跨域跨空间的数据互联互通，可信数据空间符合国家数据基础设施参考架构并与区域/行业 业务节点对接，能够通过数据基础设施统一底座便捷、有效地发现、定位和使用其他可信数据空间及业 务节点中的数据产品。多方参与的数据价值共创，可信数据空间在支持参与方之间数据可信流通的基础 上，支持算力服务、人工智能服务、数据治理服务、数据开发服务等增值服务提供方加入可信数据空间， 空间服务平台以及与服务平台对接的接入连接器。在继 承国家数据基础设施业务节点、接入连接器基本要求的基础上，可信数据空间结合自身技术特征进行了 一定的功能扩展，整体架构见图1。 图 1 可信数据空间在数据基础设施中的位置 4 功能架构 5.2.1 概述 功能架构描述了可信数据空间服务平台作为一类国家数据基础设施业务节点应具备的功能集合，以 及接入连接器在与可信数据空间服务平台对接时应进行

................................................................................ 39 2.2.6 整机柜服务器节点发展趋势 .............................................................................................. 新型信息基础设施的重要组成部分，呈现多元泛在、 智能敏捷、安全可靠、绿色低碳等特征，为实现“十四五”规划和2035年远景目标纲要中明确提出的“加快构建 全国一体化大数据中心体系，建设若干国家枢纽节点和大数据中心集群”，实现“新基建”、“东数西算”以及 “双碳”等系列目标，国家及地方出台了一系列政策文件，以此推动数据中心产业向节能降耗、绿色环保方向发 展。 表1-1 国家及地方算力基础设施建设相关政策及核心要求 资源、高质量语料库和专业数据集，初步建成以浦江数链为核心的城市区 块链基础设施。（2023年9月） 广东省 《广东省新一代人工智能创新发 展行动计划（2022-2025年）》 依托全国一体化算力网络粤港澳大湾区国家枢纽节点韶关数据中心 集群、国家超级计算广州中心、国家超级计算深圳中心等超算平台，以及 广州人工智能公共算力中心、横琴先进智能计算平台、“鹏城云脑”等智 算平台，研究探索广东省人工智能一体化算力网络，为广东企业和科研院

.. 3 二、边缘算力系统架构 ........................... 5 2.1 总体架构设计 ............................ 5 2.2 边缘算力节点的部署 ..................... 11 2.3 网络连接与通信机制 ..................... 12 2.4 云边协同模式 .................. CPU、GPU、FPGA、ASIC 等，服务器架构具有并存的 x86 架构 与 ARM 架构，导致算力度量、管控和调度需要克服不同芯片厂商的标 准差异。单一边缘节点受限于算力容量、计算资源异构、并发服务总 2 数等短板，难以满足大规模用户的请求，导致各单位建设了大量的边 缘计算节点，不同单位的边缘算力之间缺乏协同机制。各单位先建立 了机房内局域网络，再通过多种运营商网络接入公网，边缘机房的接 入网络既包含无线网 ，边 缘算力系统能根据业务负载动态调度算力，让算力盈余的边缘节点将 闲置资源共享给算力不足的节点或用户，通过节点间任务协作实现资 源高效利用。提高闲置算力的利用率。其次，边缘算力系统通过多节 点冗余备份，邻近节点可快速接管故障节点的任务，显著增强系统抗 风险能力。最后，边缘算力系统通过多样化的网络实现离散边缘算力 3 节点互联互通，具备将网络与算力统一管控的能力，支持网络对计算 任务的动态适配和优化。

有的技术路线。其中量子通信是利用量子不可克隆原理从物理上实现 绝对安全通信；量子计算是利用量子态叠加原理实现并行运算，极大 提高计算速度；而量子精密测量则是突破标准量子极限进一步提升测 量精度。在实用化的过程中，随着用户和节点数目的增加，很自然地 就形成了量子网络。当网络的覆盖面变得很大，类似于当今全球互联 网时，就形成了量子互联网。所以在将量子信息实用化的过程中，对 量子互联网进行深入的研究和发展是必然趋势。 展计算能力的模 型[23,24]。分布式量子计算机的思想是利用非局域的控制非门来协同 多个小型量子处理器来进一步扩展成为一个更大的量子计算机。如果 在量子网络中执行分布式量子计算，那么多个计算节点之间的非局域 控制非门的执行质量非常关键，其会直接关系到整个分布式量子计算 的计算效率。 23 目前由于受到比特数和门操作保真度等技术的限制，很难实现基 于量子纠错码的大规模量子计算机。所以现阶段处于含噪音中等尺度 由于本书主要聚焦于量子互联网，所以简单介绍与量子网络相关 的分布式精密测量方案。分布式量子传感主要是利用非局域量子关联 来实现对空间分布参数的精密测量，具有超越经典测量极限的灵敏度。 24 较为典型的应用场景为多节点的量子相位估计[30-32]、全球的量子时 钟网络[33]和长基线望远镜[34]等。更多关于量子精密测量和传感的 内容可参考文献[28,29]。这里简单介绍两个应用场景。 图 10. 全球量子时钟网络。

需要建设应急预 案和通报机制。 在设计数据库应急预案时，应从硬件、软件、节点、集群、机房等多个维度进行全面考虑，确保在不 同类型的故障发生时，能够快速响应并恢复业务。同时，RTO（恢复时间目标）和RPO（恢复点目 标）的设定应尽量缩短，确保业务的连续性和数据的完整性。 福建海峡银行总结了硬件故障、软件故障、节点故障、集群故障、机房故障、业务故障、性能故障等 几类应急场景，并在实践中设立了应对措施。 在软件故障方面：需要建立软件的冗余机制，如数据库的多实例部署、数据库的热备机制等。软件 故障发生时，能够快速切换到备用实例，确保数据库的持续运行。 在节点故障方面：需要建立节点的冗余机制，如数据库集群的多节点部署、节点的自动故障切换 机制等。节点故障发生时，能够快速切换到其他正常节点，确保集群的持续运行。 在集群故障方面：要建立集群的冗余机制，如多集群多中心部署、要实现集群自动故障检测和转 移机制等。集群故障 动故障切换技术，确保数据强一致性和业 务连续性。 数据可靠性：经过腾讯核心业务��余年 验证，数据可靠性达到��.�����%。 服务可用性：支持��.���%以上的高可 用性，即使节点故障也能快速恢复服务。 分布式架构设计 �个�以上的可靠性 提供强大的智能化管控、运维系统，凭借 DBbrain 数 据 库 自 治 云 服 务 体 系、 DBbridge 一 站 式 迁 移

状况的基础上，借助统一的度量范式对资源量进行对比与评估，再结 合任务的计算强度、时延要求和数据依赖等特征，以及网络带宽和能 量预算等约束，运用自适应的智能调度算法将大规模的计算任务分散 到不同的计算节点上，从而实现高效的数据处理和分析。本白皮书阐 述了分布式算力感知与调度的背景、体系结构、关键技术、应用场景、 发展建议，旨在为有兴趣了解分布式算力感知与调度相关概念和技术 的研究人员提供介绍与 分布式算力是相对于传统集中式算力（如单一超级数据中心）而 言的算力部署与利用模式，其核心是将一个大的计算任务分解成若干 个小任务，然后把这些小任务分配给地理、网络层级或逻辑上相互独 立的多个节点。这些计算节点可涵盖数据中心、边缘设备（如基站、 物联网网关）、终端设备甚至个人闲置设备等，通过网络连接形成协 同体系，实现算力资源的分布式协同与高效利用。分布式算力并非单 一形态，边缘算力是前者重要组成部分，是分布式思想的一种具体体 依存、紧密结合的环节。“感知”是基础和前提，它指的是系统具备 全面、实时、精准地获取分布式网络中各个计算节点资源状态的能力。 具体而言，感知过程涵盖多维度：首先，系统需自动发现并注册新计 算节点，识别其 CPU、GPU、FPGA 等类型，以及内存、存储容量等基 础属性。其次，通过轻量探针或节点遥测数据，实时监控 CPU/GPU 利 用率、存储占用率、网络带宽与延迟、负载水平、功耗及环境温度等

Gauss【4】 【节点数】 Hadoop技术栈 MPP技术栈 混布 *HDFS同部署组件：HDFS + Hudi + Hive + Spark + Yarn *Hbase同部署组件： HBASE + HDFS ElasticSearch【10】 新集群 管控节点（3） 数据节点（25） 原服务器 管控节点 【 3】 数据节点【 22】 新增： 数据节点【 25】 合计：（50） 管控节点 (3) 数据节点（47） 管控节点，都用新服务器 管控节点【 2】 数据节点【 20】 原服务器 管控节点【 3】 (2管理节点移走控制服 务） 数据节点【 58】 新增：【 29】 控制节点（2） 数据节点（27） 合计： 【 90】 管控节点 【 5】 数据节点【 85】 数据节点 数据节点 数据节点 数据节点 湖仓一体平台总规模：190节点 设备利旧，新增104节点 原则： 原则： 1、管控节点比较重要，用高配新机器 2、超过30个节点的集群，管理控制节点 要分开 3、利旧，旧的服务器尽量放到湖仓一体 集群 4、集群改动小原则 5、新的集群，全用新的服务器（Gauss， 实时计算集群） 03 创新点及技术实现特点 主要内容：项目建设创新点、技术实现特点。 3.1 创新点 多集群部署架构， 降低集群间耦合 关系 按照不同组件技术 特性，规划数据层

建设 绿色低碳、高效节能的数据中心。相关部门出台了一系列指导性文件：到 2025 年，全国新建大型、超大型数据中心的电能利用效率（PUE）需控制在 1.3 以 下，而重点区域如东数西算国家枢纽节点的 PUE 更是要求低于 1.25。这些政 策导向使得传统风冷式数据中心难以兼顾节能与提高上架率的双重目标，从而 加速了液冷技术的应用普及。 从市场发展来看，中国液冷数据中心市场规模持续增长。据统计，截至 技术方案缺乏统一标准，这给终端用户的系统选型、设备部署及运维管理带来 了诸多挑战。 在技术发展层面，尽管面临诸多挑战，业界已在 OAI（开放加速器接口） 和 UBB（OCP 通用基板）等标准化方面取得了显著进展。特别是超节点整机 柜架构设计日益受到关注，这一创新方案通过支持更多 AI 加速器的高速互联， 为构建更高密度、更高效能的计算集群提供了新的技术方向。 我们期望通过本报告的发布，能够进一步促进行业内各方的深度交流与协 ................... 26 4.2 服务器节点 ...................................................................................................................... 27 4.3 交换节点 ................................

版权所有 © 华为技术有限公司 4 星闪无线通信系统 星闪接入层根据实现功能的不同分为管理节点（G 节点）和终端节点（T 节点），其中 G 节点为其覆 盖下的 T 节点提供连接管理、资源分配、信息安全等接入层服务。星闪接入层实现了 G 节点和 T 节点的 上层业务数据在空口的传输交互。考虑到业务场景对于无线短距离通信存在着差异化的传输需求，目前 星闪接入层为星闪上层提供 于星闪无线通信节点的注册感知、QoS 策略管理以及通信状态监控，实现 5G 核心网对其覆盖下的星闪 无线通信网络的统一管理和维护。 1.2.2 星闪通信场景与系统架构 1.2.2.1 通信场景 星闪无线通信系统可支持的短距离通信场景见下图。根据通信双方的星闪底层节点类型不同，可以 分为： a）节点和 T 节点之间的通信； b）不同 G 节点之间的通信； c）不同 T 节点之间通过 节点之间通过 G 节点进行中继通信。 星闪无线通信系统支持的短距离通信场景 注 1：对于 G 节点之间进行多域协调与管理的通信场景，在连接建立过程中，需要其中一个 G 节点 退回到 T 节点的身份模式并发起向另一个 G 节点的连接； 注 2：G 节点和 T 节点之间通信可以采用 SLB 和/或 SLE。 华为园区网络星闪 SLE 物联数采技术白皮书 版权所有 © 华为技术有限公司