DeepSeek-R1 \ Kimi 1.5 及 类强推理模型开发解读 北大对齐小组 陈博远 北京大学2022级“通班” 主要研究方向：大语言模型对齐与可扩展监督 https://cby-pku.github.io/ https://pair-lab.com/ 2 Outline ➢ DeepSeek-R1 开创RL加持下强推理慢思考范式新边界 ➢ DeepSeek-R1 Zero 算法的创新：GRPO及其技术细节 ➢ DeepSeek-R1 背后的Insights & Takeaways：RL加持下的长度泛化 \ 推理范式的涌现 ➢ DeepSeek-R1 社会及经济效益 ➢ 技术对比探讨 ➢ STaR-based Methods vs. RL-based Methods 强推理路径对比 (DS-R1 \ Kimi-1.5 \ o-series) ➢ 蒸馏 vs. 强化学习驱动：国内外现有各家技术路线对比分析及Takeaways 未来方向分析探讨 ➢ 模态穿透赋能推理边界拓展：Align-DS-V ➢ 合成数据及Test-Time Scaling: 突破数据再生产陷阱 ➢ 强推理下的安全：形式化验证 Formal Verification \ 审计对齐 Deliberative Alignment ➢ 补充拓展：DeepSeek-V3 解读 3 DeepSeek-R1 开创RL加持下强推理慢思考范式新边界 ➢ OpenAI

4 协同训练场景................................................................................ 44 4.5 协同推理场景................................................................................ 66 4.6 西训东推场景.. 本文内容结构 本文的编制，是基于国家东数西算“安全新总线”项目所开展的 算网协同工程实践。深入分析“东数西算” 工程中的总分调度、分 总调度、混合调度的总体调度架构，东数西算、数据快递、东数西存、 协同推理、协同训练和西训东推等核心应用场景，以及边云一体、云 3 算分离和边缘共享等新型生态模式。同时，通过对典型应用场景的详 细的业务流程分析，力求为产业参与者提供可操作、可复制的交付参 考与决策 ● 流量调度，或者是需要算网协同调度平台对用户自治系统内部署的应 用副本和算网协同调度平台调度部署的应用副本间对终端用户的访 问请求做负载分担处理，所以需要在调度请求中携带自治系统中部署 的推理应用信息如<应用 ID、位置、域名、IP 地址>等。 图 3-6 分总调度-算网资源调度使用-北向调度 ② 全局缩略图方式调度  需求提交 12 当算力使用者通过自治系统进行算网调度操作时，如果本地资源

AI 应用系统的构 建 —— 以产业大脑为例 肖俊 浙江大学计算机学科与技术学院人工智能研究所 2025 03 杭州 • 大模型推理能力快速提 升 • 推理模型和思维链 (CoT) • 智能体是什么？ • 四链融合产业大脑案例 提纲 大模型推理能力快速提升 开始模仿人 脑进行大量 数据的标记 和训练 神经网络 CNN RNN GAN 1990 年开始； 2006 大语言模型易产生幻觉 ，在数学推理方面表现在推理能力严重不足， 体现在简单数值比较错误、 多步推理能力弱、推理不一致等 早期大模型在推理能力上存在明显短板 9.11>9.9? 简单数值比较错误 多步推理错 误 事实性幻觉问题 大语言模型易产生幻觉 ，在数学推理方面表现在推理能力严重不足， 体现在简单数值比较错误、 多步推理能力弱、推理不一致等 早期大模型在推理能力上存在明显短板 早期大模型在推理能力上存在明显短板 无法在复杂的思维链中保持一致性 推理过程和答案不一致 Yann LeCun 的批判观点： 对纯粹扩大规模方法的根本质疑 Mehrdad Farajtabar ： "LLM 本质上是统计模式匹配工具，而非真正的 推 理系统 " 、 " 下一个词预测框架不足以产生真正的理解 " Yann LeCun

CANN … 互联技术：灵衢 AI 芯片：昇腾、寒武纪 … DeepSeek-R1 进一步验证“算力即性能” Scaling Law 升级，模型能力 = 算力 x 数据 x 思考 + 逻辑推理 DeepSeek-V3/R1 OpenAI-o1/o3 算力 x 数据 重新定义 Scaling Law 延续智能涌现的 方向 2017 谷歌发布首个 Transformer Restricted Distribution 下一代 AI 技术 Mamba 、空间智能 等 算力 x 数据 x 思 考 模 型 效 果 低成本完美对标 OpenAI O1 ，突破精确语义理解及复杂推理任务 DeepSeek-V3 是一款 MoE 模型，总参数量 671B ，激活参数量 37B ，采用 2048 张 H800 （节点内 NVLink ，节点间 IB ，非超节点架构） 在 14.8T 自我验证机制： AI 的 " 错题本系 统 " 混合专家模型的 " 智能路由器“ 多头潜在注意力 MLA ：空间压缩术 训练框架加速： 16 到 3 的量化压 缩， 通信降低 89% 推理加速：预加载，动态批处理等 模型、数据、工具链、部署全开源 蒸馏技术使能第三方模型性能 DeepSeek V3 ：实现极致性能，稀疏 MOE 提质 降本 技术创新 硬件级、算法级、架构级、工程级、开

青、张潇潇。 中关村超互联新基建产业创新联盟：袁博。 算力城域网白皮书（2025 版） I 前 言 2025 年初 DeepSeek 的爆火掀起了生成式人工智能的浪潮，带动 大模型训练成本和推理成本的快速下降，驱动算力需求爆炸式增长。 城域网络作为用户与算力资源间的关键桥梁，各类新兴算力业务对城 域网的网络架构、网络能力及服务模式等方面提出了新的要求。中国 电信在 2024 年发布了 .......29 7.4 云边协同训推场景....................................................................30 7.5 推理下发场景............................................................................31 八、总结与展望........ 随着通算、智算、超算技术的快速发展和广泛应用，算力需求呈 现爆炸式增长。2025 年以来，以大语言模型 DeepSeek 系列为代表的 人工智能，通过算法创新与工程优化解锁了更高的算力利用率，实现 训练成本与推理成本的显著降低，加速人工智能的落地部署与普惠化 发展，进一步催生了大量算力需求。根据《IDC 中国加速计算服务器 半年度市场跟踪报告》分析，2025 年中国智能算力规模将达到 1037EFLOPS，预计到

英特尔携手合作伙伴探索基于语音识别的智能教学辅 助能力 • 语音识别等人工智能技术在智慧教育场景中的应用 • 基于语音识别能力构建教学辅助能力 • 扩展 OpenVINO ™ 工具套件自定义层，提升语音识别推理 效率 基于英特尔优化方案的应用案例 • 思必驰：与英特尔携手打造精准、高效的语音识别应用， 加速智慧教育前行步伐 打造高效人工智能教学与实训解决方案 英特尔携手合作伙伴持续探索人工智能教学场景建设 基于英特尔优化方案的应用案例 • 联合伟世：“云 - 边 - 端” 协同，采用先进硬件与创新理念 打造高效人工智能教学实训平台 • 五舟科技：高性能硬件助力打造高校人工智能教学平台 优化方案设计、提升推理性能，助力智能课堂行 为分析 英特尔与合作伙伴共同探索课堂行为分析在智慧教育 场景中的应用 • 人工智能行为分析解决方案开发及挑战 • 面向教育场景的行为分析方案设计 • 针对行为分析的英特尔产品优化方案 IT 基础设施也面临着严峻挑战。如图 1-1-3 所示， 这些挑战包括： • 人工智能应用对算力的高要求：与学校已有的校园网、电子 白板、平板电脑等信息化设备相比，人工智能应用因其数据 量大、推理要求高、计算负载密集等特点，要求学校信息化 系统具有更高的算力。 • 人工智能应用如何与教学环节无缝对接：与教学环节的紧密 结合，使人工智能应用有别于传统多媒体课件等校园信息化 应用，尤其是

CONTENTS 目录 超节点发展报告 02 当我们站在人工智能大模型技术飞速发展的十字路口，一个清晰的趋势已然浮现：大模型正沿着 “规模定律”不断演进，从预训练扩展到覆盖预训练、后训练、逻辑推理的全流程，其参数与集群 规模实现“双万” 跨越，行业模型落地需求专业化。 传统的服务器集群架构在这场变革中瓶颈愈发明显。千亿级模型一次梯度同步产生的 TB 级数据 让传统以太网带宽难以承受；同 GB/s 级通信带宽、 纳秒级时延、TB 级超大内存，实现集群能力跃迁。相较“服务器集群”，超节点代表的是弹性、池 化、开放的系统能力：既能以极致吞吐支撑万亿参数训练，也能以低时延满足企业级大规模推理的 刚性需求。 昇腾 AI 坚持架构创新，开源开放，共建产业生态。昇腾 AI 经过 6 年快速发展，已成长为中国 AI 算力第二平面的坚实基础，并通过软硬件开源开放，建立生态兼容、共建共享的昇腾 融合，锻造出高性能、高效率、高可靠的 单一逻辑实体。它标志着一个全新时代的开启——智算基础设施正从松散组合的算力堆叠阶段，迈 入软硬协同、全局优化的超节点阶段，旨在有效破解超大规模 AI 训练与推理中所面临的扩展性瓶颈、 效率损耗与能耗墙难题，为 AI 的持续创新提供坚实、高效、绿色的算力基座。 为系统分析超节点技术的发展逻辑、技术创新、产业价值以及未来趋势，我院与华为及相关单位 共同开展研究，编制《超节点发展报告》。报告以

. 1 3 专 业 ｜ 领 先 ｜ 深 度 ｜ 诚 信 中 泰 证 券 研 究 所 n DeepSeek 开源使金融机构能够轻松获得前沿模型能力，且大幅降低部署成本。其通过对训练方式、算法架构和推理方 法 的工程化优化大幅降低了部署成本。近期采用大规模 RL 训练方法的阿里 QwQ-32B 等模型也在缩小规模的同时达到了 DeepSeek R1 671B 的应用效果，有望进一步催生银行落地应用。 R1-Zero 版 本模 型使用纯强化学习方法。随训练过程推进，模型展现出了推理能力的扩展（高准确率和 long-CoT 能力涌现等） 。 图表：随步数提升 R1-Zero 的 AIME 任务准确度 图表：深度思考能力提升 性能：后训练阶段大规模应用强化学习，表现推理能力扩展 资料来源： DeepSeek-R1: Incentivizing Attention ， MLA ）进行优化；在后训练阶段采用冷启动 + 大规模强化学习 方 式，不再使用传统 SFT 做大规模监督微调， 甚至绕过了一些 CUDA ，采用 PTX 汇编来提升能力；在推理场景下通过 大规模 跨节点专家并行（ Expert Parallelism ， EP ）来优化通信开销，尽可能实现负载均衡。 图表： DeepSeek R1 架构图

亿）。作为通用大语言模型，其在 在知识类任 务（知识问答、内容生成等）领域表现出色。 ● DeepSeek-R1 是基于 DeepSeek-V3-Base 训练生成的强化推理能力模型，在数学、 代 码生成和逻辑推断等复杂推理任务上表现优异。 DeepSeek 推动国产模型达到新 的高度 开源模型比肩头部闭源 60%+ 指标优于 Llama3.1 Claude-3.5 GPT- 4o OpenAI 接口规范 复刻 Deep seel 的推理加速能力 一键发起模型部署 推理加速 DeepSeek 模 型 客 户 数 据 训练加速 DeepSeek 联 网 助 手 文档问答 知识摘要 • 模型 + 训练平台 + 应用构建 平台 全链路能力。 • 提供从训练——推理——应 用的一站式丝滑服务体验 • 全面接入 deepseek 客户专属模型 混元系列模型 混元系列模型 TI 平 台 模型服务 腾讯云 TI 平 台 大模型模型训练和推理开发平台，灵活精调和部署私有 DeepSeek 训练 部署 应用 数据中心 分布式推理： 解决大参数量模型部署，提供超长上下文窗口 内置推理加速： 全新升级 Angel 推理加速能力，加速比可达 2 倍 大模型调用： 统一的大模型调用 API 及体验工具，大幅缩短业务