力+金融”加快算力在金融领域的创新应用，为金融业务发展提 供更为精准、高效的算力支持。 AI大模型智算网络技术是算力集群的重要基础底座，是新型 算力中的网络运载力，是助力大模型实现跨节点分布式训练，提 升大规模训练效率的重要支撑。 本文深入分析 AI 大模型技术在模型能力、结构、算力、效 率等方面的技术发展趋势，提出作为底座的智算网络所面临的新 问题和新挑战。围绕 AI 大模型智算网络“高性能连接、高效率 术方案。结合行业业务及技术发展方向，将金融业 AI 智算网建 设演进划分为打造底座、构建系统、完善生态 3 个阶段，并给出 了新技术发展及创新方向，为金融机构开展 AI 大模型智算网络 规划及建设提供参考。 关键词：大模型训练、智算网络、负载均衡、流控技术、拥 塞管理 IV 目 录 一、研究背景 ................................................. 1 （一）AI 大模型发展趋势及挑战 AI大模型算力变化趋势 四是模型效率持续优化。随着AI大模型的规模和复杂性增加， 训练效率面临严峻挑战。业界通过并行通信算法优化、模型算法 优化、混合精度训练优化等技术在训练框架层、通信算法层持续 提升AI模型训练的效率。随着技术的不断进步，未来必定会有更 多高效训练AI模型的方法出现。 AI大模型持续加速演进，其庞大的训练任务需要大量服务器 节点通过高速网络互联组成AI算力集群协同完成。但AI算力集群

典型案例 CONTENTS 加入星球获取更多更全的数智化解决方案 智算中心是以 GPU 、 AI 加速卡 [1] 等智能算力为核心、 集约化建设的新型算力基础设施，提供软硬件全栈环境， 主要承载模型训练以及适合中心推理、多媒体渲染等业务，支撑各行业数智化转型升级 具有较强的普适性，可服务于 toB/toC 适合有智能化转型需求行业，如自动驾 驶、智慧城市， toB 为主 专用性强，主要面向地球物理、分子力 专用性强，主要面向地球物理、分子力 学等基础学科以及军工研究 注 [1] ：行业中 GPU 是一个较为泛化的概念，从功能角度划分， GPU 特指具备图形渲染能力的硬件， AI 加速卡特指用于 AI 推理或训练的硬件。本材料主要针对 AI 加速卡进 行分析 TaaS 是指 TensorFlow asa Service ，深度学习平台及行业大数据解决方案 智算中心定义 建设目的 应用领域 主要特征 智算中心典型需求场景 智慧电网 智慧油田 遥感测绘 新闻、视频、购物 App 内容推荐 金融、通信、物流 客服 风险分析 精准营销 AI 主要应用场 景 多媒体渲染 模型训练 智慧医疗 自动驾驶 智慧运营 科研应用 AI+ 视频 元宇宙 智能客服 推荐 智慧金融 智慧能源 第 5 页 l 场景： 利用无人机搭载高清摄像 头采集输电线路影像，

2.2 数据处理模块.............................................................................29 3.2.3 模型训练模块.............................................................................32 3.2.4 分类模块...... .....................................83 5.3 训练策略.............................................................................................85 5.3.1 训练数据划分.......................................... 分类模型训练....................................................................................101 6.2.1 模型评估指标...........................................................................103 6.2.2 训练过程监控.

3 东数西存场景................................................................................ 35 4.4 协同训练场景................................................................................ 44 4.5 协同推理场景.. 本文的编制，是基于国家东数西算“安全新总线”项目所开展的 算网协同工程实践。深入分析“东数西算” 工程中的总分调度、分 总调度、混合调度的总体调度架构，东数西算、数据快递、东数西存、 协同推理、协同训练和西训东推等核心应用场景，以及边云一体、云 3 算分离和边缘共享等新型生态模式。同时，通过对典型应用场景的详 细的业务流程分析，力求为产业参与者提供可操作、可复制的交付参 考与决策依据，加速 复用，则可保留。这种灵活的处理方式旨在平衡资源利用与数据留存 的多元需求。 29 图 ● 4-10 东数西算-应用删除与数据清理 4.2 数据快递场景 4.2.1 场景描述 在智算大模型训练、超算科学计算与工程仿真等前沿领域，海量 数据集是驱动创新的关键要素。传统的数据传输方式，如机械化运载 海量硬盘甚至整个存储机柜，在效率、安全性和成本方面面临诸多挑 战。例如，运输过程易受物理环境影响，数据丢失或损坏风险高；运

凤 青、张潇潇。 中关村超互联新基建产业创新联盟：袁博。 算力城域网白皮书（2025 版） I 前 言 2025 年初 DeepSeek 的爆火掀起了生成式人工智能的浪潮，带动 大模型训练成本和推理成本的快速下降，驱动算力需求爆炸式增长。 城域网络作为用户与算力资源间的关键桥梁，各类新兴算力业务对城 域网的网络架构、网络能力及服务模式等方面提出了新的要求。中国 电信在 2024 .................................. 26 7.2 存算分离拉远训练场景........................................................... 27 算力城域网白皮书（2025 版） III 7.3 跨集群协同训练场景............................................... 这意味国家将加强顶层设计，加快形成以人工智能为引擎的新质生产 力。随着这一行动的深入推进，人工智能将在推动产业升级、促进新 质生产力快速发展等方面发挥重要作用。 随着人工智能技术的快速发展，大模型训练对算力的需求呈指数 级增长，促进了运营商、政府、行业和企业进行算力中心的建设。各 类算力资源如何实现高效整合，服务于千行百业，进而实现算力的商 业闭环是业界普遍关心的话题。本白皮书针对算力发展新态势和算力

Big-data Driven ，模型基于大规模语料训练而成； Multi-tasks Adaptive ，支持多种任务 ，包括自然 语言生成 NLG 和自然语言理解 NLU 类的任务； AI 大模型就是预训练语言模型 通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模 型 产业研究 战略规划 技术咨询 将模型在下游各种自然语言处理任 务上的小规模有标注数据进行微调 得到适配模型 预训练语言模型 从海量数据中自动学习知识 将模型在大规模无标注数据上进 行自监督训练得到预训练模型 不同特定任务 有标注训练数 据 模型预训练 模型微调 最终模型 ⼤规模⽆标注 ⽂本数据 预训练语⾔模型“预训练 + 微调”技术范 式 预 训 练 测试数据 微 调 2012 (Google. 引用 78550) Attention ( 图灵奖得主 Bengio) Model ERNIE( 百度 ) CPM( 智源 ) GLM( 洁华 ) 预训练模型 大模型 Transformer( Google. 引用 91332) Foundation 计 算 机 视 觉 AlexNet ( 图灵奖得主 Hinton) CAN (Gioodfellow

AI）应用和工具产品的出现，为文本创建、图像视频生 成、代码生成以及研发流程等工作带来了全新的智能 体验，极大地提升了生产力，提高了生产水平。 Gen-AI 应用的出现离不开大模型的支持。大模 型是基于海量参数进行自监督学习的预训练模型，凭 借更强的学习能力、更高的精准度以及更强的泛化能 力，正在成为人工智能技术发展的焦点。随着大模型 的快速成熟，其参数规模呈百万倍增长，随之而来的 是算力需求的剧增，芯片算力的增长速度与模型参数 2024.09.012 文章编号：1007-3043（2024）09-0068-06 中图分类号：TN915.5 文献标识码：A 开放科学（资源服务）标识码（OSID）： 摘 要： 人工智能训练的计算复杂度逐年猛增，所需的智能算力从每秒千万次运算增加 到数百亿次，甚至进入千亿级别，促进了大规模智算中心的建设。智算中心主 要满足智算算力的需求，其布局、建设及维护方案与传统的云资源池存在较大 据模型表现和模型算力需求，业界一般认为一个经过 充分训练的百亿参数的模型可认定为大模型 ［1］。大模 型遵循的三大统计特征如下。 a）Scaling Law。模型表现依赖于模型规模、计算 量和数据量，这些因素之间呈现幂律关系 ［2］。 b）Chinchilla Law。模型大小和数据量要同等比 例扩展，即数据量需达到参数量的 20 倍，模型训练结 果才能达到饱和 ［3］。 c）智能涌现。只有训练计算超过 10 22或训练损失

......81 4.3 模型训练与验证.......................................................................................................................................................83 4.3.1 训练数据集构建........... ........................................................................................100 5.3.1 训练过程监控............................................................................................... 决策， 如最佳种植时间、病虫害防治措施等。 为实现这些目标，项目将首先收集和整理大量的历史农业生产 数据，包括气象数据、土壤数据、作物生长数据等。随后，利用 DeepSeek 大模型进行初步训练，再根据具体农业场景进行微调， 以确保模型的准确性和实用性。此外，项目还将开发用户友好的界 面，使农民能够轻松访问和使用系统提供的分析结果和建议。 通过这一系列措施，本项目有望显著提升农业生产的科技水

大模型计算基础设施的挑战 小结 小结 CONTENTS 目录 超节点发展报告 02 当我们站在人工智能大模型技术飞速发展的十字路口，一个清晰的趋势已然浮现：大模型正沿着 “规模定律”不断演进，从预训练扩展到覆盖预训练、后训练、逻辑推理的全流程，其参数与集群 规模实现“双万” 跨越，行业模型落地需求专业化。 传统的服务器集群架构在这场变革中瓶颈愈发明显。千亿级模型一次梯度同步产生的 TB 级数据 让传统 的大规模集群，超节点域内可达百 GB/s 级通信带宽、 纳秒级时延、TB 级超大内存，实现集群能力跃迁。相较“服务器集群”，超节点代表的是弹性、池 化、开放的系统能力：既能以极致吞吐支撑万亿参数训练，也能以低时延满足企业级大规模推理的 刚性需求。 昇腾 AI 坚持架构创新，开源开放，共建产业生态。昇腾 AI 经过 6 年快速发展，已成长为中国 AI 算力第二平面的坚实基础，并通过软硬件开源开放，建立生态兼容、共建共享的昇腾 术，成为驱动千行百业 颠覆性变革的核心力量。大模型所展现出的涌现能力与通用潜能，正在重构人类对创新的想象边界， 但同时也对底层智算基础设施提出更高要求和挑战：模型参数规模从千亿迈向万亿乃至更高，训练 数据量呈指数级增长，传统松散耦合的集群架构已难以满足高效的计算需求，智算基础设施正开始 新一轮的技术革新。 在此背景下，超节点应运而生。它并非偶然的技术产品迭代，而是智算需求与系统创新深度共振

.................................................................................20 4.1 “一模多芯”异构混池训练............................................................................................20 4.2 XPU-R，自研 XPU-Link 全互联架构，搭建“芯片—XPU-Lite 框架— 千卡 1.2 TB/s XPU-Link 集群—百度文心大模型”四级闭环，已在百度内部提供 90%以上文 心系列训练算力，日均稳态负载 85%+。 （3）壁仞科技采用 Chiplet 架构设计大算力芯片，其首款 GPGPU（General-Purpose Computing on Graphics Processing 对既有框架进行适配时，因其进度不同具有代际差，使得在多种硬件架构上运行相同的计算 实例时，所依赖的软件环境存在不一致性。 （3）异构算力基于现有调度机制协同“效率低”，因其算存传均有差异导致无法从应 用层映射到最佳硬件：针对传统训练框架，并行策略是按照其算力芯片数量进行平均划分， 7 但其在异构算力下平均分配因其计算能力、传输能力差异性造成模型计算量处理不同步、集 合通信数据传输有堵点，“快等慢”造成部分资源浪费。针对大模型推理过程，由于预填充