原子码块的故障检测与通告等三大原创技术， 实现从技术标准到商用产品转化，满足超十万卡 GPU 集群组网需求。 12 面向中远期，引入 GSE 通信库优化，利用网络拓扑的天然聚合特性实现梯度 聚合的高效卸载，减少网络通信流量，并通过合理规划梯度分配及聚合功能的放 置加速聚合过程，降低通信延迟。引入光电路交换机（OCS），结合 GSE 技术体 系，优化光电混合组网协同、纳管机制，持续探索光路交换潜力，突破传统电路 2 低精度训练 低精度训练可以显著加速大模型训练性能，但梯度溢出问题严重制约模型收 敛稳定性。针对上述问题，通过算子级优化（重构计算流，结合动态量化技术， 即 FP8/INT8 精度自适应切换）与梯度缩放机制，在确保训练精度的前提下，压 缩计算量，实现算力效率与训练精度的双重突破。 面向近期，完善 FP8 混合精度训练框架，构建梯度异常检测与自动修复机制； 15 推进算子融合技术与混合 推进算子融合技术与混合并行策略的联合优化，构建端到端的分布式训练效能评 估系统；同步研发梯度统计分析与动态缩放工具链，形成低精度训练的标准化解 决方案。 面向中远期，探索 FP4/INT4 超低精度计算架构，建立从算法设计到硬件指 令集的全链路精度保障体系，推动大模型训练迈入“算法-算力-能效”协同进化 的新阶段。 2.5.2.3 故障容错 超大规模集群训练面临硬件、网络和软件故障频发，局部故障易引发级联效

等提出新的要求，新型智算中心是产业发展趋势； A I 大 模型需要部署在高速互联的多个 A I 芯片上，数据样本和模型结构被切分到多张卡或者节点上，卡间或节点间不仅有训练数据通信，还有模型 梯度 的频繁传递，对智算中心的网络互联提出新的要求，建议关注宝信软件。 • 风险提示：宏观经济波动、下游需求不及预期、 A I 伦理风险等。 请务必阅读正文之后的免责声明及其项下所有内容 可满足要求。 • A I 大模型：数据样本和模型结构被切分到多张卡或者节点上，卡间或节点间不仅有训练数据通信，还有模型梯度的频繁传递； • 数据并行（ DP ）：每计算设备（卡或节点）都有一个完整模型，将数据集拆分到多个计算设备同时训练，在反向传播中，各个设备上的梯度进行归约操作求平均，再更新模型参数。 • 模型并行（ MP ）： 1 ）流水线并行（ PP ）：将模型按照“层”拆分为多个 出新的要求，新型智算中心是产业发展趋势； A I 大模型需要部署在高速互联的多个 A I 芯片上，数据样本和模型结构被切分到多张卡 或者 节点上，卡间或节点间不仅有训练数据通信，还有模型梯度的频繁传递，对智算中心的网络互联提出新的要求，建议关注宝信软 件。 • 宝信软件：随着国家大力发展数据中心产业，公司借助十四五规划和“东数西算”政策，将数据中心新建项目向华北拓展；公司对数据

基于梯度的反向传播方法（Gradient-based Backpropagation）是 深度学习中一种经典的训练技术，它通过计算损失函数相对于网络 参数的梯度来调整这些参数。这种方法在过去的几十年里在各种应 用中都显示出了显著的效果，但随着深度学习模型的复杂性增加， 它也暴露出了一些严重的局限性。在深层网络中，梯度可能会随着 层数的增加而变得非常小（梯度消失）或非常大（梯度爆炸），这不

Intel RA-TLS 122 123 本实践涉及了两种参与方：参数服务器端（parameter server）和客户端（worker）。 • 参数服务器端：存放模型参数，并利用客户端发来的梯度信息更新本地参数。 • 客户端：利用本地数据集，完成神经网络的前向传播和反向传播，并通过服务器端获取最新的模型参数。 说明：为了方便开发者部署，本实践将上述两种参与方部署在同一台云服务器中。 本实践使用到的主要组件： 训练阶段可以分为以下几个步骤： ① 利用SGX平台，参与方运行在不同的Enclave中。 ② 客户端根据其Enclave环境中的本地数据计算梯度信息。 ③ 客户端通过RA-TLS向参数服务器发送梯度。 ④ 参数服务器进行梯度聚合，计算并更新全局模型参数。 ⑤ 参数服务器将模型参数发送给客户端。 ⑥ 客户端更新局部模型参数。 训练过程中会不断重复步骤②-⑥ 。由

中国净水器行业技术进程分析 中国净水器行业的技术发展历程呈现出由单一化向多元化、集成化方向演进 的趋势，核心净水技术持续迭代。行业经历了从基础性物理过滤向高精度膜分离 技术的技术升级，呈现出梯度化发展趋势。逐步构建起以粗滤、超滤、纳滤和反 渗透（RO）为核心的多层次净化体系。 ➢ 起步探索阶段：净水器产品主要引入基础性过滤技术，重点包括粗滤与 7 活性炭吸附两大技术。粗滤主要通过

统模式加快数倍，黄金 72 小时救援期内覆盖大部分受灾人口。 联邦学习驱动的智能救援系统成为效率倍增器。前线救援人员佩戴的 AR 头 盔采集建筑坍塌影像后，数据在运营商 B 的边缘节点完成本地分析，通过加密 梯度参数与运营商 A 的卫星节点协同优化 AI 模型。经过几轮联邦迭代，受困人 员识别准确率可以提升十几至数十个百分点，且分析时延控制在一定范围以内， 较纯云端处理方案提速数倍。网络数字孪生平台实时模拟灾区通信状态，当预测

人工智能（AI）技术的迅猛发展正在重塑各行各业，大模型（LLM）的训练与推理几乎成为了AI技术相关应 用的核心驱动力，为各领域带来了前所未有的创新和效率提升。AI大模型相关应用需要各个节点之间频繁同步信 息，如参数、梯度、优化器状态等，大模型训练和推理过程中对计算资源、存储资源和数据传输的需求远远超过 了传统计算模型，对服务器的计算密度、存储性能、网络带宽、系统稳定性以及供电和散热等提出了更高的要求。 随着大 数量大小为175 B（10亿，下同），而等到阿里巴巴发布的M6-10T训练参数量则 达到了10000 B。据统计，近五年模型参数大小每年增长约3至4倍，并且模型训练过程中会产生海量临时参数， 如梯度、优化器状态、激活值等，这些数据均需要高效存取。因而快速的数据访问和高效的存储性能对于确保训 练过程的顺利进行至关重要。 AI模型训练过程中需要频繁的数据交换和大规模分布式计算，对网络带宽和低时延提出了极高的要求。由数

病的诊断。非侵入 式铁路轨道监控传感器企业 Monirail 则会持续开发火车智能导航系 统，通过利用量子传感器节省成本，同时提高隧道行驶的安全性。 量子重力仪企业 DeltaG 旨在利用重力梯度传感器技术开发一种半 自主的监测系统，依托其可对城市的基础设施进行扫描，发现地质 结构方面可能存在的危险。 加拿大国防部设立国防卓越与安全创新（IDEaS）项目，该项 目尤其关注量子精密测

知识的形成是数据价值升维的过 程。首先，对基础数据资源进行结构化处理，通过统计分析、文本向量化、图像特征提取等技术构建输入特征空间。 其次，选择监督学习、无监督学习、深度学习算法等适配算法，利用梯度下降等优化方法拟合数据分布，通过交叉验 证和正则化避免过拟合，实现模型训练迭代。最后，将模型习得的隐性规律转化为可解释形式，形成行业领域专属 的认知模型或知识库。RAG（Retrieval Augmented

支撑资源的灵活调度和置换，解决复杂情况导致的资源切换问题，例如，根据通信链路情况 （当前或者预测），进行模型资源与计算资源的控制管理，分别应用于模型控制功能（模型 结构设置）与计算控制功能（模型权重、梯度以及激活值的计算精度控制）。在 AI 异构多 维资源承载功能方面，涉及跨资源维度和跨节点的融合处理，已经超越现有通信协议栈的范 围，因此需增强相应功能模块与处理流程，在实现异构多维资源融合承载映射的同时，保障