4 协同训练场景................................................................................ 44 4.5 协同推理场景................................................................................ 66 4.6 西训东推场景.. 本文内容结构 本文的编制，是基于国家东数西算“安全新总线”项目所开展的 算网协同工程实践。深入分析“东数西算” 工程中的总分调度、分 总调度、混合调度的总体调度架构，东数西算、数据快递、东数西存、 协同推理、协同训练和西训东推等核心应用场景，以及边云一体、云 3 算分离和边缘共享等新型生态模式。同时，通过对典型应用场景的详 细的业务流程分析，力求为产业参与者提供可操作、可复制的交付参 考与决策 ● 流量调度，或者是需要算网协同调度平台对用户自治系统内部署的应 用副本和算网协同调度平台调度部署的应用副本间对终端用户的访 问请求做负载分担处理，所以需要在调度请求中携带自治系统中部署 的推理应用信息如<应用 ID、位置、域名、IP 地址>等。 图 3-6 分总调度-算网资源调度使用-北向调度 ② 全局缩略图方式调度  需求提交 12 当算力使用者通过自治系统进行算网调度操作时，如果本地资源

AI 应用系统的构 建 —— 以产业大脑为例 肖俊 浙江大学计算机学科与技术学院人工智能研究所 2025 03 杭州 • 大模型推理能力快速提 升 • 推理模型和思维链 (CoT) • 智能体是什么？ • 四链融合产业大脑案例 提纲 大模型推理能力快速提升 开始模仿人 脑进行大量 数据的标记 和训练 神经网络 CNN RNN GAN 1990 年开始； 2006 大语言模型易产生幻觉 ，在数学推理方面表现在推理能力严重不足， 体现在简单数值比较错误、 多步推理能力弱、推理不一致等 早期大模型在推理能力上存在明显短板 9.11>9.9? 简单数值比较错误 多步推理错 误 事实性幻觉问题 大语言模型易产生幻觉 ，在数学推理方面表现在推理能力严重不足， 体现在简单数值比较错误、 多步推理能力弱、推理不一致等 早期大模型在推理能力上存在明显短板 早期大模型在推理能力上存在明显短板 无法在复杂的思维链中保持一致性 推理过程和答案不一致 Yann LeCun 的批判观点： 对纯粹扩大规模方法的根本质疑 Mehrdad Farajtabar ： "LLM 本质上是统计模式匹配工具，而非真正的 推 理系统 " 、 " 下一个词预测框架不足以产生真正的理解 " Yann LeCun

....................................................................................20 4.2 低成本异构混合推理................................................................................................... 推到极致，也带来高 耗电和高昂的成本，2025 年推出 Blackwell B200，并抛出 2026–2027 路线图，Vera Rubin 与 Rubin Ultra 已在路上，Rubin 推理峰值 50 PFLOPS、HBM4 内存 288 GB，FP4 稀疏算 力是 B200 的 2.5 倍。 （2）AMD 把 Chiplet 思路发挥到极致，多颗小 Die 通过 Infinity 均划分， 7 但其在异构算力下平均分配因其计算能力、传输能力差异性造成模型计算量处理不同步、集 合通信数据传输有堵点，“快等慢”造成部分资源浪费。针对大模型推理过程，由于预填充 和解码阶段对算力和显存的需求量不同，传统大模型推理过程算力显存阶段互为瓶颈，造成 低水平资源利用率，需要解决异构算力协同调度问题使其匹配到最优计算任务。 8 第二章 算力协同体系架构 为了打破异构算力生态壁

青、张潇潇。 中关村超互联新基建产业创新联盟：袁博。 算力城域网白皮书（2025 版） I 前 言 2025 年初 DeepSeek 的爆火掀起了生成式人工智能的浪潮，带动 大模型训练成本和推理成本的快速下降，驱动算力需求爆炸式增长。 城域网络作为用户与算力资源间的关键桥梁，各类新兴算力业务对城 域网的网络架构、网络能力及服务模式等方面提出了新的要求。中国 电信在 2024 年发布了 .......29 7.4 云边协同训推场景....................................................................30 7.5 推理下发场景............................................................................31 八、总结与展望........ 随着通算、智算、超算技术的快速发展和广泛应用，算力需求呈 现爆炸式增长。2025 年以来，以大语言模型 DeepSeek 系列为代表的 人工智能，通过算法创新与工程优化解锁了更高的算力利用率，实现 训练成本与推理成本的显著降低，加速人工智能的落地部署与普惠化 发展，进一步催生了大量算力需求。根据《IDC 中国加速计算服务器 半年度市场跟踪报告》分析，2025 年中国智能算力规模将达到 1037EFLOPS，预计到

....................................34 2.4 推理服务层..............................................................................................36 2.4.1 推理引擎........................................... 数据安全与隐私保护机制的设计 为了更好地明确方案的实现路径，以下列出了主要的技术指标 和预期成果： * 数据整合效率：实现 90%以上跨部门数据资源的实时共享与 调用，处理延迟不超过 1 秒。 * 模型训练与推理能力：支持每天 10TB 级别的数据训练任务，推 理速度达到毫秒级响应。 * 系统可用性：确保 99.99%的系统全年无故障运行时间，保障关 键业务连续性。 * 安全性：实现全链路数据加密和访问控制，符合国际及国家信息 数据支持。同时，引 入数据安全和隐私保护机制，确保数据在采集、存储和传输过程中 的安全性。 计算层是大模型底座的核心，主要负责模型的训练、推理和优 化。采用高性能计算集群和分布式计算框架，支持大规模并行计 算，提升模型训练效率。为了提高模型推理的速度和准确性，引入 边缘计算和云端协同机制，实现实时数据处理和分析。此外，计算 层还支持动态资源调度，根据业务需求自动分配计算资源，确保系

CONTENTS 目录 超节点发展报告 02 当我们站在人工智能大模型技术飞速发展的十字路口，一个清晰的趋势已然浮现：大模型正沿着 “规模定律”不断演进，从预训练扩展到覆盖预训练、后训练、逻辑推理的全流程，其参数与集群 规模实现“双万” 跨越，行业模型落地需求专业化。 传统的服务器集群架构在这场变革中瓶颈愈发明显。千亿级模型一次梯度同步产生的 TB 级数据 让传统以太网带宽难以承受；同 GB/s 级通信带宽、 纳秒级时延、TB 级超大内存，实现集群能力跃迁。相较“服务器集群”，超节点代表的是弹性、池 化、开放的系统能力：既能以极致吞吐支撑万亿参数训练，也能以低时延满足企业级大规模推理的 刚性需求。 昇腾 AI 坚持架构创新，开源开放，共建产业生态。昇腾 AI 经过 6 年快速发展，已成长为中国 AI 算力第二平面的坚实基础，并通过软硬件开源开放，建立生态兼容、共建共享的昇腾 融合，锻造出高性能、高效率、高可靠的 单一逻辑实体。它标志着一个全新时代的开启——智算基础设施正从松散组合的算力堆叠阶段，迈 入软硬协同、全局优化的超节点阶段，旨在有效破解超大规模 AI 训练与推理中所面临的扩展性瓶颈、 效率损耗与能耗墙难题，为 AI 的持续创新提供坚实、高效、绿色的算力基座。 为系统分析超节点技术的发展逻辑、技术创新、产业价值以及未来趋势，我院与华为及相关单位 共同开展研究，编制《超节点发展报告》。报告以

（二）日韩加速布局智算基础设施，力争缩小与全球头部梯队的差距。 .......6 （三）我国从应用牵引和普惠服务发力，全面推动智算产业高质量发展。 ..7 2、智算需求持续高涨，核心驱动力由“训练”转向“推理”............................................................8 3、AI 应用加速规模落地，带动智算产业发展向深向实.......... ....... 18 （一）英伟达主导全球 AI 芯片市场，国产替代加速追赶。.........................................18 （二）芯片架构多元化愈加明显，推理需求加速 ASIC 普及。.................................... 19 （三）单芯片算力逼近极限，系统级创新成重点方向。...................... 2、智算需求持续高涨，核心驱动力由“训练”转向“推理” 推理模型快速普及并从纯文本走向多模态。OpenAI 于 2024 年 9 月发布的 o1-preview 模型拉开推理模型帷幕。推理模型基于 基础模型开发，其通过在推理过程中引入长思维链，实现了与普 通模型截然不同的问题解决方法，即在输出答案前先进行“思考”， 因此更为擅长处理谜题、高级数学和高难度编程等需要多步骤逻 辑推导的任务。推理模型的“思考过程”可以向用户展示，如

. 1 3 专 业 ｜ 领 先 ｜ 深 度 ｜ 诚 信 中 泰 证 券 研 究 所 n DeepSeek 开源使金融机构能够轻松获得前沿模型能力，且大幅降低部署成本。其通过对训练方式、算法架构和推理方 法 的工程化优化大幅降低了部署成本。近期采用大规模 RL 训练方法的阿里 QwQ-32B 等模型也在缩小规模的同时达到了 DeepSeek R1 671B 的应用效果，有望进一步催生银行落地应用。 R1-Zero 版 本模 型使用纯强化学习方法。随训练过程推进，模型展现出了推理能力的扩展（高准确率和 long-CoT 能力涌现等） 。 图表：随步数提升 R1-Zero 的 AIME 任务准确度 图表：深度思考能力提升 性能：后训练阶段大规模应用强化学习，表现推理能力扩展 资料来源： DeepSeek-R1: Incentivizing Attention ， MLA ）进行优化；在后训练阶段采用冷启动 + 大规模强化学习 方 式，不再使用传统 SFT 做大规模监督微调， 甚至绕过了一些 CUDA ，采用 PTX 汇编来提升能力；在推理场景下通过 大规模 跨节点专家并行（ Expert Parallelism ， EP ）来优化通信开销，尽可能实现负载均衡。 图表： DeepSeek R1 架构图

Grok-3 20 万张卡 思维链推理 上下文对话 语料学习 ChatGPT BART Encoder-Decoder QWQ-32B 两阶段强化学习 BERT Only Encoder GPT Only Decoder RoBERTa Only Encoder GPT Only Decoder Gemma-3 多模态推理融合 思维链推理 DeepSeek-R1 高探索自由度 = 推理能力自我觉醒 （更长的思维链、 更深层次的 推理路径） 低可控：生成文本可 读性差、语言混乱 拒绝采样： 筛选高质量样本 20 万条 通用数据 在探索自 由度、学 习效率、 行为可控 性 找到动 态平衡 第一阶段训练：增强推理能力，生成高质量推理数据 推理导向强化学习 （准确率奖励 + 可读性奖励） 第二阶段训练：增强通用能力，避免灾难性遗忘 推理导向强化学习 （准确率奖励 + 格式奖励） DeepSeek-R1 （强推理模型） 671B DeepSeek-R1-Zero （强推理模型） DeepSeek-V3 （基础模型） 面向全场景的强化学习 （规则奖励 + 奖励模型） 纯强化学习训练 多阶段增强训练 R1-Zero 生成的 长思维链数据 综合性能 更强