力+金融”加快算力在金融领域的创新应用，为金融业务发展提 供更为精准、高效的算力支持。 AI大模型智算网络技术是算力集群的重要基础底座，是新型 算力中的网络运载力，是助力大模型实现跨节点分布式训练，提 升大规模训练效率的重要支撑。 本文深入分析 AI 大模型技术在模型能力、结构、算力、效 率等方面的技术发展趋势，提出作为底座的智算网络所面临的新 问题和新挑战。围绕 AI 大模型智算网络“高性能连接、高效率 术方案。结合行业业务及技术发展方向，将金融业 AI 智算网建 设演进划分为打造底座、构建系统、完善生态 3 个阶段，并给出 了新技术发展及创新方向，为金融机构开展 AI 大模型智算网络 规划及建设提供参考。 关键词：大模型训练、智算网络、负载均衡、流控技术、拥 塞管理 IV 目 录 一、研究背景 ................................................. 1 （一）AI 大模型发展趋势及挑战 AI大模型算力变化趋势 四是模型效率持续优化。随着AI大模型的规模和复杂性增加， 训练效率面临严峻挑战。业界通过并行通信算法优化、模型算法 优化、混合精度训练优化等技术在训练框架层、通信算法层持续 提升AI模型训练的效率。随着技术的不断进步，未来必定会有更 多高效训练AI模型的方法出现。 AI大模型持续加速演进，其庞大的训练任务需要大量服务器 节点通过高速网络互联组成AI算力集群协同完成。但AI算力集群

2.2 数据处理模块.............................................................................29 3.2.3 模型训练模块.............................................................................32 3.2.4 分类模块...... .....................................83 5.3 训练策略.............................................................................................85 5.3.1 训练数据划分.......................................... 分类模型训练....................................................................................101 6.2.1 模型评估指标...........................................................................103 6.2.2 训练过程监控.

3 东数西存场景................................................................................ 35 4.4 协同训练场景................................................................................ 44 4.5 协同推理场景.. 本文的编制，是基于国家东数西算“安全新总线”项目所开展的 算网协同工程实践。深入分析“东数西算” 工程中的总分调度、分 总调度、混合调度的总体调度架构，东数西算、数据快递、东数西存、 协同推理、协同训练和西训东推等核心应用场景，以及边云一体、云 3 算分离和边缘共享等新型生态模式。同时，通过对典型应用场景的详 细的业务流程分析，力求为产业参与者提供可操作、可复制的交付参 考与决策依据，加速 复用，则可保留。这种灵活的处理方式旨在平衡资源利用与数据留存 的多元需求。 29 图 ● 4-10 东数西算-应用删除与数据清理 4.2 数据快递场景 4.2.1 场景描述 在智算大模型训练、超算科学计算与工程仿真等前沿领域，海量 数据集是驱动创新的关键要素。传统的数据传输方式，如机械化运载 海量硬盘甚至整个存储机柜，在效率、安全性和成本方面面临诸多挑 战。例如，运输过程易受物理环境影响，数据丢失或损坏风险高；运

凤 青、张潇潇。 中关村超互联新基建产业创新联盟：袁博。 算力城域网白皮书（2025 版） I 前 言 2025 年初 DeepSeek 的爆火掀起了生成式人工智能的浪潮，带动 大模型训练成本和推理成本的快速下降，驱动算力需求爆炸式增长。 城域网络作为用户与算力资源间的关键桥梁，各类新兴算力业务对城 域网的网络架构、网络能力及服务模式等方面提出了新的要求。中国 电信在 2024 .................................. 26 7.2 存算分离拉远训练场景........................................................... 27 算力城域网白皮书（2025 版） III 7.3 跨集群协同训练场景............................................... 这意味国家将加强顶层设计，加快形成以人工智能为引擎的新质生产 力。随着这一行动的深入推进，人工智能将在推动产业升级、促进新 质生产力快速发展等方面发挥重要作用。 随着人工智能技术的快速发展，大模型训练对算力的需求呈指数 级增长，促进了运营商、政府、行业和企业进行算力中心的建设。各 类算力资源如何实现高效整合，服务于千行百业，进而实现算力的商 业闭环是业界普遍关心的话题。本白皮书针对算力发展新态势和算力

Big-data Driven ，模型基于大规模语料训练而成； Multi-tasks Adaptive ，支持多种任务 ，包括自然 语言生成 NLG 和自然语言理解 NLU 类的任务； AI 大模型就是预训练语言模型 通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模 型 产业研究 战略规划 技术咨询 将模型在下游各种自然语言处理任 务上的小规模有标注数据进行微调 得到适配模型 预训练语言模型 从海量数据中自动学习知识 将模型在大规模无标注数据上进 行自监督训练得到预训练模型 不同特定任务 有标注训练数 据 模型预训练 模型微调 最终模型 ⼤规模⽆标注 ⽂本数据 预训练语⾔模型“预训练 + 微调”技术范 式 预 训 练 测试数据 微 调 2012 (Google. 引用 78550) Attention ( 图灵奖得主 Bengio) Model ERNIE( 百度 ) CPM( 智源 ) GLM( 洁华 ) 预训练模型 大模型 Transformer( Google. 引用 91332) Foundation 计 算 机 视 觉 AlexNet ( 图灵奖得主 Hinton) CAN (Gioodfellow

......81 4.3 模型训练与验证.......................................................................................................................................................83 4.3.1 训练数据集构建........... ........................................................................................100 5.3.1 训练过程监控............................................................................................... 决策， 如最佳种植时间、病虫害防治措施等。 为实现这些目标，项目将首先收集和整理大量的历史农业生产 数据，包括气象数据、土壤数据、作物生长数据等。随后，利用 DeepSeek 大模型进行初步训练，再根据具体农业场景进行微调， 以确保模型的准确性和实用性。此外，项目还将开发用户友好的界 面，使农民能够轻松访问和使用系统提供的分析结果和建议。 通过这一系列措施，本项目有望显著提升农业生产的科技水

大模型计算基础设施的挑战 小结 小结 CONTENTS 目录 超节点发展报告 02 当我们站在人工智能大模型技术飞速发展的十字路口，一个清晰的趋势已然浮现：大模型正沿着 “规模定律”不断演进，从预训练扩展到覆盖预训练、后训练、逻辑推理的全流程，其参数与集群 规模实现“双万” 跨越，行业模型落地需求专业化。 传统的服务器集群架构在这场变革中瓶颈愈发明显。千亿级模型一次梯度同步产生的 TB 级数据 让传统 的大规模集群，超节点域内可达百 GB/s 级通信带宽、 纳秒级时延、TB 级超大内存，实现集群能力跃迁。相较“服务器集群”，超节点代表的是弹性、池 化、开放的系统能力：既能以极致吞吐支撑万亿参数训练，也能以低时延满足企业级大规模推理的 刚性需求。 昇腾 AI 坚持架构创新，开源开放，共建产业生态。昇腾 AI 经过 6 年快速发展，已成长为中国 AI 算力第二平面的坚实基础，并通过软硬件开源开放，建立生态兼容、共建共享的昇腾 术，成为驱动千行百业 颠覆性变革的核心力量。大模型所展现出的涌现能力与通用潜能，正在重构人类对创新的想象边界， 但同时也对底层智算基础设施提出更高要求和挑战：模型参数规模从千亿迈向万亿乃至更高，训练 数据量呈指数级增长，传统松散耦合的集群架构已难以满足高效的计算需求，智算基础设施正开始 新一轮的技术革新。 在此背景下，超节点应运而生。它并非偶然的技术产品迭代，而是智算需求与系统创新深度共振

.................................................................................20 4.1 “一模多芯”异构混池训练............................................................................................20 4.2 XPU-R，自研 XPU-Link 全互联架构，搭建“芯片—XPU-Lite 框架— 千卡 1.2 TB/s XPU-Link 集群—百度文心大模型”四级闭环，已在百度内部提供 90%以上文 心系列训练算力，日均稳态负载 85%+。 （3）壁仞科技采用 Chiplet 架构设计大算力芯片，其首款 GPGPU（General-Purpose Computing on Graphics Processing 对既有框架进行适配时，因其进度不同具有代际差，使得在多种硬件架构上运行相同的计算 实例时，所依赖的软件环境存在不一致性。 （3）异构算力基于现有调度机制协同“效率低”，因其算存传均有差异导致无法从应 用层映射到最佳硬件：针对传统训练框架，并行策略是按照其算力芯片数量进行平均划分， 7 但其在异构算力下平均分配因其计算能力、传输能力差异性造成模型计算量处理不同步、集 合通信数据传输有堵点，“快等慢”造成部分资源浪费。针对大模型推理过程，由于预填充

Copilot ； 2023 年 Q1 ，微软系产品领航 ChatGPT 化…… sopen AI 2016 发布 Gym 强化学习平台 & Universe 训练工具包 2018.6 GPT-1 1.17 亿参数 无监督预训练 + 有监督微调 2019 GPT-2 15 亿参数 半监督语言模 型效果验证 2020 GPT-3 1750 亿参数 超大模型 聊天机器人 2023 年 Q1 GPT-4 提升性能 & 多模态 更贴近人类实际思维 Google 第一阶段：模型规模增大，融合的任务更多 2017-2022 年初 演进动力 : 训练语料 & 模型容量更大 Switch Transformer 1.6 万亿参数（人类大脑皮层参数 10 万亿） 大模型演进过程 1950 图灵《电脑会思考吗？》提出“机器思维“概念； 72 年后， 成为离图灵测试最近的机器人。 第二阶段：利用人工标注引导生成 2021 年底 - 至今 演进动力 : 从人类反馈中学习 8 ChatGPT 的技术路线选 择 海量人类积累的文本数据，进行无监督训练。 即可获得博学的文本生成模型 自回归 生成 单字接龙 9 第一阶段：模型规模增大，融合的任务更多 第二阶段：利用人工标注引导生成 ChatGPT

强化学习，环境交互，自我进化 4 、集群智能：持续研究，给道路 3 以启发 • 生命智能，混沌理论：细胞、生态、鸟群 n 两个阶段：特定任务到泛化任务 • 弱人工智能：可以完成训练过的特定的智能任务，特定 • 强人工智能：可以完成没有训练过的新智能任务，通用 n 三个能力 • 感知智能：知识表达 • 认知智能：知识处理 • 行动智能：环境交互 对 AI 技术的认知：通向 AGI 之 数字员工和人类员工共同工作 3. 以 AI Agent 为主、人工为辅 02 对 AI 教育的思考： AI 重塑就业岗位和组织 结构 n 人工智能专业 n 大专：编程基础 | 数据处理 | 模型训练 | 算法应用 | 工具使用 本科：基础知识掌握 | 编程能力 | 算法理解 | 实践应用 | 跨学科意 识 硕士：专业深化 | 研究方法 | 创新能力 | 工程实践 | 领域专精 博士：原创研究 思维能力：批判思维、独立思维、逻辑思维 2. 学习能力：终身学习，善用 AI 3. 热爱人类 n 如何培养人 1. 赋能：个性化学习，学本教育，因人育材，未来学校 学习的定位是一种思维训练，知识、写作、记忆力等只 是训练工具 终身学习的方式可能从知识搜索转向了古老的对话式学 习 2. 让人学会与 AI 共舞，尤其是生成式 AI 将成为人的必备技能 02 对 AI 教育的思考：如何培养 AI