3 东数西存场景................................................................................ 35 4.4 协同训练场景................................................................................ 44 4.5 协同推理场景.. 本文的编制，是基于国家东数西算“安全新总线”项目所开展的 算网协同工程实践。深入分析“东数西算” 工程中的总分调度、分 总调度、混合调度的总体调度架构，东数西算、数据快递、东数西存、 协同推理、协同训练和西训东推等核心应用场景，以及边云一体、云 3 算分离和边缘共享等新型生态模式。同时，通过对典型应用场景的详 细的业务流程分析，力求为产业参与者提供可操作、可复制的交付参 考与决策依据，加速 复用，则可保留。这种灵活的处理方式旨在平衡资源利用与数据留存 的多元需求。 29 图 ● 4-10 东数西算-应用删除与数据清理 4.2 数据快递场景 4.2.1 场景描述 在智算大模型训练、超算科学计算与工程仿真等前沿领域，海量 数据集是驱动创新的关键要素。传统的数据传输方式，如机械化运载 海量硬盘甚至整个存储机柜，在效率、安全性和成本方面面临诸多挑 战。例如，运输过程易受物理环境影响，数据丢失或损坏风险高；运

凤 青、张潇潇。 中关村超互联新基建产业创新联盟：袁博。 算力城域网白皮书（2025 版） I 前 言 2025 年初 DeepSeek 的爆火掀起了生成式人工智能的浪潮，带动 大模型训练成本和推理成本的快速下降，驱动算力需求爆炸式增长。 城域网络作为用户与算力资源间的关键桥梁，各类新兴算力业务对城 域网的网络架构、网络能力及服务模式等方面提出了新的要求。中国 电信在 2024 .................................. 26 7.2 存算分离拉远训练场景........................................................... 27 算力城域网白皮书（2025 版） III 7.3 跨集群协同训练场景............................................... 这意味国家将加强顶层设计，加快形成以人工智能为引擎的新质生产 力。随着这一行动的深入推进，人工智能将在推动产业升级、促进新 质生产力快速发展等方面发挥重要作用。 随着人工智能技术的快速发展，大模型训练对算力的需求呈指数 级增长，促进了运营商、政府、行业和企业进行算力中心的建设。各 类算力资源如何实现高效整合，服务于千行百业，进而实现算力的商 业闭环是业界普遍关心的话题。本白皮书针对算力发展新态势和算力

大模型参数量级飞涨，相应训练集需同比提升。李开复定义 AI 2.0 时代的 特征是通过海量数据，无需标注自监督学习，训练一个基础大模型，并在各 领域将其专业化。据相关论文，当模型的参数量大于某阈值，会展现出类似 推理、无监督学习等未曾出现的能力，这种现象被称为“涌现”，因此目前 大语言模型参数均在十亿量级以上。同时，Deepmind 研究表明，模型参数的 上涨需要配合等比例上升的优质数据集来达到最佳训练效果。因此，大模型 参数在十亿级以上发展并受限于优质数据集的增速是 AI 发展的必然趋势。 大模型增长挑战芯片算力和内存，无法实现完整端侧部署。大模型训练和推 理的三大瓶颈是算力、显存和通信，根据我们的测算，算力方面 GPT-3 训练 所需算力为 121528 TFLOPS，若 30 天内完成，需要 1558 颗 A100。内存角度， GPT-3 训练至少需要 3.2T 内存，至少 44 张 A100，推理任务则主要受显存限 制，需要 4 至 8 张 百亿参数大模型具备涌现能力，训练数据需等比例提升 .............................. 5 大模型的参数下限：AI2.0 时代，基础大模型参数指数级增长 ................................ 5 大模型的参数上限：参数的增加需要同等量级的训练集增加 .................................. 6 大模型训练对硬件的挑战：算力、内存和通信

大模型计算基础设施的挑战 小结 小结 CONTENTS 目录 超节点发展报告 02 当我们站在人工智能大模型技术飞速发展的十字路口，一个清晰的趋势已然浮现：大模型正沿着 “规模定律”不断演进，从预训练扩展到覆盖预训练、后训练、逻辑推理的全流程，其参数与集群 规模实现“双万” 跨越，行业模型落地需求专业化。 传统的服务器集群架构在这场变革中瓶颈愈发明显。千亿级模型一次梯度同步产生的 TB 级数据 让传统 的大规模集群，超节点域内可达百 GB/s 级通信带宽、 纳秒级时延、TB 级超大内存，实现集群能力跃迁。相较“服务器集群”，超节点代表的是弹性、池 化、开放的系统能力：既能以极致吞吐支撑万亿参数训练，也能以低时延满足企业级大规模推理的 刚性需求。 昇腾 AI 坚持架构创新，开源开放，共建产业生态。昇腾 AI 经过 6 年快速发展，已成长为中国 AI 算力第二平面的坚实基础，并通过软硬件开源开放，建立生态兼容、共建共享的昇腾 术，成为驱动千行百业 颠覆性变革的核心力量。大模型所展现出的涌现能力与通用潜能，正在重构人类对创新的想象边界， 但同时也对底层智算基础设施提出更高要求和挑战：模型参数规模从千亿迈向万亿乃至更高，训练 数据量呈指数级增长，传统松散耦合的集群架构已难以满足高效的计算需求，智算基础设施正开始 新一轮的技术革新。 在此背景下，超节点应运而生。它并非偶然的技术产品迭代，而是智算需求与系统创新深度共振

Copilot ； 2023 年 Q1 ，微软系产品领航 ChatGPT 化…… sopen AI 2016 发布 Gym 强化学习平台 & Universe 训练工具包 2018.6 GPT-1 1.17 亿参数 无监督预训练 + 有监督微调 2019 GPT-2 15 亿参数 半监督语言模 型效果验证 2020 GPT-3 1750 亿参数 超大模型 聊天机器人 2023 年 Q1 GPT-4 提升性能 & 多模态 更贴近人类实际思维 Google 第一阶段：模型规模增大，融合的任务更多 2017-2022 年初 演进动力 : 训练语料 & 模型容量更大 Switch Transformer 1.6 万亿参数（人类大脑皮层参数 10 万亿） 大模型演进过程 1950 图灵《电脑会思考吗？》提出“机器思维“概念； 72 年后， 成为离图灵测试最近的机器人。 第二阶段：利用人工标注引导生成 2021 年底 - 至今 演进动力 : 从人类反馈中学习 8 ChatGPT 的技术路线选 择 海量人类积累的文本数据，进行无监督训练。 即可获得博学的文本生成模型 自回归 生成 单字接龙 9 第一阶段：模型规模增大，融合的任务更多 第二阶段：利用人工标注引导生成 ChatGPT

据保护的要求意味着系统 必须遵守《通用数据保护条例》原则，如合法性、公平性、透明度、目的限 制、数据最小化、准确性、存储限制、完整性和保密性。 1.2.1 合法、透明的数据收集和处理 ● 对训练数据和提示词数据的限制：《通用数据保护条例》概述了以 下处理数据的主要原则： ○ 目的限制：数据的收集和使用只能用于特定、明确界定或兼容 的目的。 ○ 必要性：只能收集和使用实现这些目的所必需的个人数据。 存储时限：必须尽可能缩短个人数据的存储时间，并且必须定 期设定和审查存储期限。 训练数据（以及提示词数据，它们也可能成为“训练数据”），即只在 实际需要的范围内收集和使用数据，以达到特定的训练目标。 ● 知情同意：《通用数据保护条例》要求在收集和处理用于训练生成 式人工智能模型的个人数据时获得用户的明确同意。这可以确保个人了解其 数据将如何被使用（例如，用于模型训练或微调），并有权拒绝。人工智能 开发者必须为那些数 隐私风险， 但在生成式人工智能的背景下，它们并不能每一次都完美应对，因为即使是 有限的信息也可用于推理身份。 ● 生成式人工智能输出的潜在危害：虽然《通用数据保护条例》看起 来似乎只影响用于训练模型的数据，但实际上该法规也适用于模型输出。这 包括处理意外生成的输出和恶意使用深度伪造技术，这些都可能损害个人声 誉和违反道德原则。所以制定明确的指导方针和保障措施对于确保负责任地 开发和使

01 对AI技术的认知：通向AGI之路 通用人工智能（AGI）：泛化任务、自主学习、自主行动  两个阶段：特定任务到泛化任务 • 弱人工智能：可以完成训练过的特定的智能任务，特定 • 强人工智能：可以完成没有训练过的新智能任务，通用  三个能力 • 感知智能：知识表达 • 认知智能：知识处理 • 行动智能：环境交互  四条道路 1、数据智能：LLM取得了突破，最被看好 赋能：个性化学习，学本教育，因人育材，未来学校  学习的定位是一种思维训练，知识、写作、记忆力等只是训练工具  终身学习的方式可能从知识搜索转向了古老的对话式学习 2. 让人学会与AI共舞，尤其是生成式AI将成为人的必备技能  人工智能专业  大专：编程基础 | 数据处理 | 模型训练 | 算法应用 | 工具使用 本科：基础知识掌握 | 编程能力 | 算法理解 结合大模型工程化实践的系列论文规划与发表 • AI领域顶级会议论文发表 • 开源高质量的Python中文数据集，提高贡献度 • 智能分发多模型开放平台 • 大模型训练服务 • 数据工程服务，建设模型训练的知识库、数据集 • 私有化部署服务 • 智能录课 • 智能助教 • 青鸟人工智能实验室 • 智能学习平台 • 青鸟教育大模型 • 人工智能技术课程体系

通用人工智能 (AGI) 的创新型科技公司。 2024 年 12 月， DeepSeek-V3 发布，性能对齐海外领军闭源模型。据官方技术论文披露， V3 模型的总训练成本 为 557.6 万美元， 对比 GPT-4o 等模型的训练成本约为 1 亿美元。 2025 年 1 月， DeepSeek-R1 发布，性能对标 OpenAI-o1 正式版。在数学、代码、 自然 语言推理等任务上，性能比肩 云团队联合首发并上线基于华为云昇腾云服务 的 DeepSeekR1/V3 推理服务。 l DeepSeek 通过 MLA 和 DeepSeekMoE 实现高效的推理和低成本训练，构建 DualPipe 算法和混合精度训练优化计算与通信负载；通过 ( 分阶段 ) 强化学习实现 性能突破。 多头潜在注意力 (MLA) 通过低秩联合压缩技术，大幅削减了注意力键 (keys) 和值 (values) DualPipe 算法，通过优化计算与通信的重叠，有效减少了流水线中的空闲时间。采用 FP8 混合精 度训练技术，不仅极大地加快 了训练速度，还大幅降低了 GPU 内存的消耗。 DeepSeek-R1-Zero 通过强化学习架构创新实现突破性性能，核心技术创新体现在训 练效能优化策略、双维度评价体系、 结构化训练范式三个维度。 DeepSeek-R1 采用分阶段强化学习架构演进，包括冷启动阶段、面向推理的强化学习、拒绝采样

通常说的大模型的“大”的特点体现在： 参数数量庞大 训练数据量大 计算资源需求高 2020年，OpenAI公司推出了GPT-3，模型参数规模达到了1750亿。 2023年3月发布的GPT-4的参数规模是GPT-3的10倍以上，达到1.8万亿， 2021年11月阿里推出的M6 模型的参数量达10万亿。 1.1 大模型的概念 大模型的设计和训练旨在提供更强大、更准确的模型性能，以应对更复杂、更 的任务和领域中迁移和应用。这 意味着一次训练就可以将模型应 用于多种任务，无需重新训练 可迁移性高 1.2 大模型的发展历程 大模型发展历经三个阶段，分别是萌芽期、沉淀期和爆发期 1.2 大模型的发展历程 1.2 大模型的发展历程 大模型发展对算力的需求演变 1.3 人工智能与大模型的关系 人工智能包含了机器学习，机器学习包含了深度学习，深度学习可以采用不同的模型，其中一种模型是预训练模型，预训 练模 练模型包含了预训练大模型（可以简称为“大模型”），预训练大模型包含了预训练大语言模型（可以简称为“大语言模 型”），预训练大语言模型的典型代表包括OpenAI的GPT和百度的文心ERNIE，ChatGPT是基于GPT开发的大模型产品， 文心一言是基于文心ERNIE开发的大模型产品 人工智能 机器学习 深度学习 深度学习模型 预训练模型 深度学习 预训练大模型 预训练 大语言模型

模型代表 Qwen2.5-Max 、 DeepSeek-V3 、 GPT-4o QwQ-Max-Preview 、 DeepSeek-R1 、 OpenAI-o3 运算原理 基于概率预测，通过大量数据训练来快速预测可能的答案 基于链式思维，逐步推理问题的每个步骤来得到答案 模型性能 响应速度快，适合即时任务 响应速度慢，适合复杂任务 决策能力 依赖预设算法和规则进行决策 能够自主分析情况，实时作出决策 立 发 布 总 参 数 达 6 7 1 0 亿 的 D e e p S e e k - V 3 ， 采 用 创 新 Mo E 架构和 FP8 混合精度训练， 训练成本大幅降低 发 布 新 一 代 推 理 模 型 Dee p See k- R 1 ，性 能 与 Ope nA I 的 o 1 正 式 版 持平 ，并开源 至 1 月 30 日， 示将继续加快 ，实现 “算力降维打击” ，在相同算力下支持更 大参数规模 ，显著提升模型效率。 训练优化 通过低比特 FP8 训练技术、强化学习策略 （ DeepSeek R1 完全依赖 RL 而非人工标 注数据）和通信优化 ，降低训练成本至 550 万美元 ，仅为 GPT-4 的 1/4-1/6 。 性能对标 推理能力比肩