DeepSeek-R1 \ Kimi 1.5 及 类强推理模型开发解读 北大对齐小组 陈博远 北京大学2022级“通班” 主要研究方向：大语言模型对齐与可扩展监督 https://cby-pku.github.io/ https://pair-lab.com/ 2 Outline ➢ DeepSeek-R1 开创RL加持下强推理慢思考范式新边界 ➢ DeepSeek-R1 Zero DeepSeek-R1 在知识类问答上推动科学探索边界： ➢ MMLU \ MMLU-Pro \ GPQA Diamond 等 STEM- related 榜单上取得良好表现 ➢ R1 展现出强推理模型在 AI-Driven Research 的潜力 ➢ 在长文本依赖任务如 FRAMEs 和 事实性推断任务 Simple-QA上表现突出 5 回顾：Pre-Training Scaling Scaling Model Parameters 8 DeepSeek-R1 技术剖析：DeepSeek-R1 Zero DeepSeek-R1 Zero: 无需监督微调SFT，纯强化学习驱动的强推理模型 DeepSeek-v3-Base (671B) DeepSeek-R1-Zero 基于规则的奖励 Rule-Based Reward 推理为中心的大规模强化学习 Large-Scale

视觉模型），部分新的多模态模型架构 大模型的发展阶段 生成模型 ref:中文大模型基准测评2024年度报告(2025.01.08) 推理模型 生成模型与推理大模型的对比 比较项 OpenAI GPT-4o（生成模型） OpenAI o1（推理模型） 模型定位 专注于通用自然语言处理和多模态能力，适合日常对 话、内容生成、翻译以及图文、音频、视频等信息处 理、生成、对话等。 侧 界面友好，适合大众使用。 可自主链式思考，不需要太多的过程指令，整体交互节奏较慢。 D e e p S e e k R 1 PART 02 DeepSeek公司 2025年1月20日推出DeepSeek-R1推理模型 作为由知名私募巨头幻方量化孕育而生的公司，DeepSeek获得了强大的资金支持和行业 影响力，幻方量化与九坤投资、明汯投资、灵均投资并称量化私募领域的“四大天王”， 管理资金规模均超过60 究与开发 公司成立背景与 发展历程 大语言模型(LLM) 的创新应用 投资者背景与市 场定位 里程碑 DeepSeek模型系列 DeepSeek最新的生成模型和推理模型版本对比 比较方面 生成模型（V3） 推理模型（R1） 设计初衷 想要在各种自然语言处理的任务中都 能表现好，更通用 重点是为了搞定复杂的推理情况，比如 深度的逻辑分析和解决问题 性能展现 在数学题、多语言任务还有编码任务

2）可行逻辑-原本小模型在某些场景能 力无法达到，大模型具备可行性 3）创新逻辑-大模型发 掘了客户需求，在需求侧未提出要求情况下创造新场景 需求 各家积极发展结合强化学习、思维链的“后训练“，推出深度推理模型。在效率优 化方面，稀疏注意力、线性注意力等相关机制可大幅降低内存和计算成本。 正朝着处理更长序列、更大规模数据和实时应用场景的方向发展，新型高效注意力 算法和硬件协同优化可能成为重要突破口。 刻感知。 系统一 直觉和本能 系统二 理性 • 快思考：快速、自动、 直觉性、无意识 • 原本GPT系列思考形 态更类似于系统一 • 慢思考：缓慢、需要努力、 逻辑性、有意识 • 推理模型加强推理思考能力， 思考形态往系统二倾斜 95% 5% 自大模型发布以来，Scaling Law成为模型层发展迭代共识，国内大模型基座厂商均通过不断加大参数量级以获得模型能力的优化增强。 20 （RM）训练，通过收集人类反馈数据训练 奖励模型，评估输出质量；以及强化学习（RL），利用奖励模型反馈优化模型，最终生成更符合人类偏好的输出等。由于代码、数学等领 域更适配模型评估与奖励反馈环节，推理模型在这些领域的深度思考能力更强，而在文学、医药、科研等领域，因存在大量实验数据和非 唯一最优解等影响，后训练的效果提升相对有限。从落地质效来看，DeepSeek通过创新的模型结构和训练任务优化，如多令牌预测

2）可行逻辑-原本小模型在某些场景能 力无法达到，大模型具备可行性 3）创新逻辑-大模型发 掘了客户需求，在需求侧未提出要求情况下创造新场景 需求 各家积极发展结合强化学习、思维链的“后训练“，推出深度推理模型。在效率优 化方面，稀疏注意力、线性注意力等相关机制可大幅降低内存和计算成本。 正朝着处理更长序列、更大规模数据和实时应用场景的方向发展，新型高效注意力 算法和硬件协同优化可能成为重要突破口。 刻感知。 系统一 直觉和本能 系统二 理性 • 快思考：快速、自动、 直觉性、无意识 • 原本GPT系列思考形 态更类似于系统一 • 慢思考：缓慢、需要努力、 逻辑性、有意识 • 推理模型加强推理思考能力， 思考形态往系统二倾斜 95% 5% 自大模型发布以来，Scaling Law成为模型层发展迭代共识，国内大模型基座厂商均通过不断加大参数量级以获得模型能力的优化增强。 20 （RM）训练，通过收集人类反馈数据训练 奖励模型，评估输出质量；以及强化学习（RL），利用奖励模型反馈优化模型，最终生成更符合人类偏好的输出等。由于代码、数学等领 域更适配模型评估与奖励反馈环节，推理模型在这些领域的深度思考能力更强，而在文学、医药、科研等领域，因存在大量实验数据和非 唯一最优解等影响，后训练的效果提升相对有限。从落地质效来看，DeepSeek通过创新的模型结构和训练任务优化，如多令牌预测

2、智算需求持续高涨，核心驱动力由“训练”转向“推理” 推理模型快速普及并从纯文本走向多模态。OpenAI 于 2024 年 9 月发布的 o1-preview 模型拉开推理模型帷幕。推理模型基于 基础模型开发，其通过在推理过程中引入长思维链，实现了与普 通模型截然不同的问题解决方法，即在输出答案前先进行“思考”， 因此更为擅长处理谜题、高级数学和高难度编程等需要多步骤逻 辑推导的任务。推理模型的“思考过程”可以向用户展示，如 年以来，全球科技企业 陆续推出推理模型，如深度求索的 DeepSeek-R1、xAI 的 Grok-3 （ Think 模 式 /Big Brain 模 式 ） 和 Grok-3 mini Reasoning、 Anthropic 的 Claude 3.7 Sonnet，阿里云通义团队的 QwQ-32B、 字节跳动豆包团队的 Seed-Thinking-v1.5 等。同时，推理模型正 在从 LLM 走向多模态，如 走向多模态，如 OpenAI 的 o3 和 o4-mini、阿里云通义 团队的 QVQ-Max 等均是视觉推理模型。OpenAI o3 和 o4-mini 可 以使用图像进行思维链推理，如解读白板照片、教科书图表或手 绘草图等，并可借助工具对图像进行旋转、缩放或变换等操作， 智算产业发展研究报告（2025） 9 以及与 Python 数据分析、网络搜索、图像生成等工具协同工作。 后训

预训练模型如GPT——疯狂读书，积 累知识，Scaling law撞墙  预训练模型思考深度不够  算力见顶，变成少数巨头游戏 预训练大模型 推理大模型 预训练大模型难以通往AGI之路  推理模型如R1——通过逻辑链条推导答案， 分解规划，自我反思  预训练范式像是记忆和模仿，强化学习范 式更像探索实践  记住很多东西只是基础，真正有价值的是 融会贯通 R1找到了人类通往AGI的方向 GPT、DeepSeek-V3擅长的 思考方式 推理能力获得突破的关键是学会了「慢思考」 例：课堂提问 快问快答  长思维链强大的推理能力是真正人类智力的体现  预训练大模型是人记忆和学习的能力，推理模型是对复杂问题 进行规划、分解、预测的能力，实现了真正的慢思考 28 例：课后作业 仔细思考 政企、创业者必读 DeepSeek-R1是AI发展史上的重要里程碑 R1形成了新的AGI定律，加速了AGI发展 赋予自动驾驶复杂物理世界理解能力 从规则驱动到学习驱动 43 政企、创业者必读  人工智能的目标是星辰大海，是为了让人类在科技上有突破  基于DeepSeek的强推理模型，利用科学领域专业知识进行强化学习， 能够打造更加专业的科学推理模型 DeepSeek六大应用方向之五 科学研究：打造科研新范式 44 政企、创业者必读 AI For Science，为基础科学带来革命性变化 2024

有道产品矩阵 ...................................................................... 22 图23： 集成 Deepseek-R1 推理模型的有道 Spaceone ............................................22 图24： 好未来公司历程 ........................ 端、消费电子硬件）高效运行，本地部署意味着企业使用时对其数据、硬件和软 件配置拥有完全的控制权，同时端侧使用也可避免网络拥堵等现象。 请务必阅读正文之后的免责声明及其项下所有内容 证券研究报告 9 DeepSeek 等深度推理模型最为核心特征在于优化 CoT 能力后，可展现思考过程、 分步骤提供解决方案。深度优化的 CoT（思维链）能力使模型突破在交流时不单 单提供最终答案，而是展现出类人类的推理过程拆解能力。这意味着： 用者给出详尽的提示词以进行信息匹配，进而使用者给出的提示词一定程度会影 响模型处理任务的效果。而 DeepSeek 等深度推理模型即使提示词不够详尽也能根 据已知信息推断出合适的回答或解决方案。 2）完整逻辑分析链条在解决数学等复杂逻辑问题时更具优势。相较于传统 LLM 依赖统计模式匹配的解题方式，深度推理模型能够解析数学公式的语法结构，并 在多步推导中保持严格的逻辑一致性。 3）此外思维链技术赋予了模型展现解题思路的功能，较直接展示答案便于使用

将 这类模型称为非推理模型。 然而，当前备受关注的 OpenAI o1 和 DeepSeek R1 则代表了推理模型。这类模型以慢速、深思熟 虑、逻辑性的方式运行，通过强化学习训练，在回答问题之前会通过思维链进行“思考”，思考时 间越长，在推理任务上的表现就越好。这种思维方式需要有意识的努力和思考，用于解决复杂问题 或做出深思熟虑的决策。 非推理模型和推理模型各有所长，未来企业需要 同时部署这两类模型，这超出了此前的预期。在 DeepSeek R1 出现之前，企业尚未意识到推理模型的快速发展和广泛应用。当前，企业的算力规划 主要针对非推理模型，而未来则需要同时支持非推理和推理两类模型，因此对算力的需求将显著增 加。 （2）用户数量激增 DeepSeek 的破圈效应相当于对全民进行了一次 AI 普及教育，其影响力远超企业内部的任何一次培 训。预计会有更多央国企员工主动使用

气厂 边缘应用 推理模型 通用算力 + 推理算力 近端推理 作业区 推理模型 推理算力 管理 中心 近端推理 昆仑 CV 大模型 动火作业 | 吊装作业 | 高处作业 | 进入受限空间作业 | 通用违章 | … 大模型 AI 中台 业务应用 区域数据治理 API 服务网关 推理管理平台 区域推理模型库（大模型 + 自建小模型） 推理模型 通算算力 推理算力

先显式地写出推理的中间步骤。这就像人 类解决复杂问题时会先把思考过程写下来 一样。 OpenAI定义推理模型 也就是说，如果模型在回复你之前有一长 串的思考过程（这个过程必须可以显示输 出），探索了很多不同的路径之后给出答 案，那么有这个能力的大模型就是推理大 模型。推理模型的核心在于处理那些需要 多步骤逻辑推导才能解决的复杂问题。 推理模型的核心 1.4 大模型的分类 n 推理大模型DeepSeek R1的对话效果 推理问题： ”一列火车以每小时60英里的速度行驶3小时，行驶距离是多少？” （需先理解”距离=速度×时间”的关系，再分步计算） 通用的大语言模型（LLM）可能直接输出简短答案（如”180英里”） 推理模型的特点在于显式展示中间推导过程 1.4 大模型的分类 在应用方面二者各有擅长的领域，而不是简单的谁强谁弱问题 n 如果你需要完成数据分析、逻辑推理、代码生成等逻辑性较强且较为复杂的任务，请选择推理大模型 灯红酒绿的霓虹灯，热闹非凡的唐人街正在进行舞龙 表演，熙熙攘攘的人群目光都聚焦在跃动的彩龙身上， 整个环境的喜庆氛围仿佛令人身临其境 2.1 国外的大模型产品 n OpenAI o3 2024年12月20日，OpenAI发布推理模型o3，无论在软件工程、编写代码，还是竞赛数学、掌握人类博士级别的自然科学 知识能力方面，o3都达到了很高的水平 2.2 国内的大模型产品 大模型 图标 指标排名 DeepSeek 能力测评第一