DeepSeek-R1 \ Kimi 1.5 及 类强推理模型开发解读 陈博远 北京大学 2022 级“通班” 主要研究方向：大语言模型对齐与可扩展监督 https://cby-pku.github.io/ https://pair-lab.com/ 北大对齐小组 DeepSeek-R1 开创 RL 加持下强推理慢思考范式新边界 DeepSeek-R1 Zero 及 R1 技术剖析 DeepSeek-R1 在知识类问答上推动科学探索边界： MMLU \ MMLU-Pro \ GPQA Diamond 等 STEM- related 榜单上取得良好表现 R1 展现出强推理模型在 AI-Driven Research 的潜 力 在长文本依赖任务如 FRAMEs 和 事实性推断 任务 Si l QA 上表现突出 得益于强大的推理能力与长文本思考能力 ， DeepSeek be More Effective than Scaling Model Parameters Laws [1] 。 DeepSeek-R1 Zero: 无需监督微调 SFT ，纯强化学习驱动的强推理模型 DeepSeek-R1 技术剖析： DeepSeek-R1 Zero 8 大规模推理为中心的强化学习，提升模型数学代码能力

视觉模型），部分新的多模态模型架构 大模型的发展阶段 生成模型 ref:中文大模型基准测评2024年度报告(2025.01.08) 推理模型 生成模型与推理大模型的对比 比较项 OpenAI GPT-4o（生成模型） OpenAI o1（推理模型） 模型定位 专注于通用自然语言处理和多模态能力，适合日常对 话、内容生成、翻译以及图文、音频、视频等信息处 理、生成、对话等。 侧 界面友好，适合大众使用。 可自主链式思考，不需要太多的过程指令，整体交互节奏较慢。 D e e p S e e k R 1 PART 02 DeepSeek公司 2025年1月20日推出DeepSeek-R1推理模型 作为由知名私募巨头幻方量化孕育而生的公司，DeepSeek获得了强大的资金支持和行业 影响力，幻方量化与九坤投资、明汯投资、灵均投资并称量化私募领域的“四大天王”， 管理资金规模均超过60 究与开发 公司成立背景与 发展历程 大语言模型(LLM) 的创新应用 投资者背景与市 场定位 里程碑 DeepSeek模型系列 DeepSeek最新的生成模型和推理模型版本对比 比较方面 生成模型（V3） 推理模型（R1） 设计初衷 想要在各种自然语言处理的任务中都 能表现好，更通用 重点是为了搞定复杂的推理情况，比如 深度的逻辑分析和解决问题 性能展现 在数学题、多语言任务还有编码任务

2）可行逻辑-原本小模型在某些场景能 力无法达到，大模型具备可行性 3）创新逻辑-大模型发 掘了客户需求，在需求侧未提出要求情况下创造新场景 需求 各家积极发展结合强化学习、思维链的“后训练“，推出深度推理模型。在效率优 化方面，稀疏注意力、线性注意力等相关机制可大幅降低内存和计算成本。 正朝着处理更长序列、更大规模数据和实时应用场景的方向发展，新型高效注意力 算法和硬件协同优化可能成为重要突破口。 刻感知。 系统一 直觉和本能 系统二 理性 • 快思考：快速、自动、 直觉性、无意识 • 原本GPT系列思考形 态更类似于系统一 • 慢思考：缓慢、需要努力、 逻辑性、有意识 • 推理模型加强推理思考能力， 思考形态往系统二倾斜 95% 5% 自大模型发布以来，Scaling Law成为模型层发展迭代共识，国内大模型基座厂商均通过不断加大参数量级以获得模型能力的优化增强。 20 （RM）训练，通过收集人类反馈数据训练 奖励模型，评估输出质量；以及强化学习（RL），利用奖励模型反馈优化模型，最终生成更符合人类偏好的输出等。由于代码、数学等领 域更适配模型评估与奖励反馈环节，推理模型在这些领域的深度思考能力更强，而在文学、医药、科研等领域，因存在大量实验数据和非 唯一最优解等影响，后训练的效果提升相对有限。从落地质效来看，DeepSeek通过创新的模型结构和训练任务优化，如多令牌预测

2）可行逻辑-原本小模型在某些场景能 力无法达到，大模型具备可行性 3）创新逻辑-大模型发 掘了客户需求，在需求侧未提出要求情况下创造新场景 需求 各家积极发展结合强化学习、思维链的“后训练“，推出深度推理模型。在效率优 化方面，稀疏注意力、线性注意力等相关机制可大幅降低内存和计算成本。 正朝着处理更长序列、更大规模数据和实时应用场景的方向发展，新型高效注意力 算法和硬件协同优化可能成为重要突破口。 刻感知。 系统一 直觉和本能 系统二 理性 • 快思考：快速、自动、 直觉性、无意识 • 原本GPT系列思考形 态更类似于系统一 • 慢思考：缓慢、需要努力、 逻辑性、有意识 • 推理模型加强推理思考能力， 思考形态往系统二倾斜 95% 5% 自大模型发布以来，Scaling Law成为模型层发展迭代共识，国内大模型基座厂商均通过不断加大参数量级以获得模型能力的优化增强。 20 （RM）训练，通过收集人类反馈数据训练 奖励模型，评估输出质量；以及强化学习（RL），利用奖励模型反馈优化模型，最终生成更符合人类偏好的输出等。由于代码、数学等领 域更适配模型评估与奖励反馈环节，推理模型在这些领域的深度思考能力更强，而在文学、医药、科研等领域，因存在大量实验数据和非 唯一最优解等影响，后训练的效果提升相对有限。从落地质效来看，DeepSeek通过创新的模型结构和训练任务优化，如多令牌预测

预训练模型如GPT——疯狂读书，积 累知识，Scaling law撞墙  预训练模型思考深度不够  算力见顶，变成少数巨头游戏 预训练大模型 推理大模型 预训练大模型难以通往AGI之路  推理模型如R1——通过逻辑链条推导答案， 分解规划，自我反思  预训练范式像是记忆和模仿，强化学习范 式更像探索实践  记住很多东西只是基础，真正有价值的是 融会贯通 R1找到了人类通往AGI的方向 GPT、DeepSeek-V3擅长的 思考方式 推理能力获得突破的关键是学会了「慢思考」 例：课堂提问 快问快答  长思维链强大的推理能力是真正人类智力的体现  预训练大模型是人记忆和学习的能力，推理模型是对复杂问题 进行规划、分解、预测的能力，实现了真正的慢思考 28 例：课后作业 仔细思考 政企、创业者必读 DeepSeek-R1是AI发展史上的重要里程碑 R1形成了新的AGI定律，加速了AGI发展 赋予自动驾驶复杂物理世界理解能力 从规则驱动到学习驱动 43 政企、创业者必读  人工智能的目标是星辰大海，是为了让人类在科技上有突破  基于DeepSeek的强推理模型，利用科学领域专业知识进行强化学习， 能够打造更加专业的科学推理模型 DeepSeek六大应用方向之五 科学研究：打造科研新范式 44 政企、创业者必读 AI For Science，为基础科学带来革命性变化 2024

有道产品矩阵 ...................................................................... 22 图23： 集成 Deepseek-R1 推理模型的有道 Spaceone ............................................22 图24： 好未来公司历程 ........................ 端、消费电子硬件）高效运行，本地部署意味着企业使用时对其数据、硬件和软 件配置拥有完全的控制权，同时端侧使用也可避免网络拥堵等现象。 请务必阅读正文之后的免责声明及其项下所有内容 证券研究报告 9 DeepSeek 等深度推理模型最为核心特征在于优化 CoT 能力后，可展现思考过程、 分步骤提供解决方案。深度优化的 CoT（思维链）能力使模型突破在交流时不单 单提供最终答案，而是展现出类人类的推理过程拆解能力。这意味着： 用者给出详尽的提示词以进行信息匹配，进而使用者给出的提示词一定程度会影 响模型处理任务的效果。而 DeepSeek 等深度推理模型即使提示词不够详尽也能根 据已知信息推断出合适的回答或解决方案。 2）完整逻辑分析链条在解决数学等复杂逻辑问题时更具优势。相较于传统 LLM 依赖统计模式匹配的解题方式，深度推理模型能够解析数学公式的语法结构，并 在多步推导中保持严格的逻辑一致性。 3）此外思维链技术赋予了模型展现解题思路的功能，较直接展示答案便于使用

将 这类模型称为非推理模型。 然而，当前备受关注的 OpenAI o1 和 DeepSeek R1 则代表了推理模型。这类模型以慢速、深思熟 虑、逻辑性的方式运行，通过强化学习训练，在回答问题之前会通过思维链进行“思考”，思考时 间越长，在推理任务上的表现就越好。这种思维方式需要有意识的努力和思考，用于解决复杂问题 或做出深思熟虑的决策。 非推理模型和推理模型各有所长，未来企业需要 同时部署这两类模型，这超出了此前的预期。在 DeepSeek R1 出现之前，企业尚未意识到推理模型的快速发展和广泛应用。当前，企业的算力规划 主要针对非推理模型，而未来则需要同时支持非推理和推理两类模型，因此对算力的需求将显著增 加。 （2）用户数量激增 DeepSeek 的破圈效应相当于对全民进行了一次 AI 普及教育，其影响力远超企业内部的任何一次培 训。预计会有更多央国企员工主动使用

健康提醒 ⽩噪⾳帮助我⼊眠 ⽤户 19 基于 DeepSeek 病历讨论助⼿ 基于 DeepSeek 推理模型，整合患者的信息，辅助医⽣深度问诊、 鉴别诊断、病情分析和建议，提出治疗、预防等建议 • 基于 Deepseek ⼤模型，再现医⽣临床思维链路的推理模型 • ⾃动⽣成病情分析、 IDC ⾃动编码 • 分析准确率达 90% ，为医⽣提供权威决策⽀持

科研与学术⽅式和效率→通过⼤模型进⾏科研 课题筛选、⽂献收集、数据结构化提取和分析、 摘要及初稿撰写等 医⽣ 基于DeepSeek推理模型，整合患者的信息，辅助医⽣深度问诊、 鉴别诊断、病情分析和建议，提出治疗、预防等建议 • 基于Deepseek⼤模型，再现医⽣临床思维链路的推理模型 • ⾃动⽣成病情分析、IDC⾃动编码 • 分析准确率达90%，为医⽣提供权威决策⽀持 • 指出权威出处（如指南、专家共识等）

Gemini 2.0 家族，包括 Gemini 2.0 Pro 实验版本、Gemini 2.0 Flash、 Gemini 2.0 Flash-Lite，并且还在 Gemini App 中推出了其推理模型 Gemini 2.0 Flash Thinking，在数据、代码等领域上较前代版本进一步提升。价格方面，o3 mini API 定 价为每百万 tokens 输入 0.55 美元（缓存命中）/1 家族大模型，包括 Grok 3、Grok 3 mini 以及推理模型 Grok 3 reasoning、Grok 3 mini reasoning。其中 Grok 3 在数学、科学、 编程等领域的性能进一步提升，表现好于 Gemini 2 Pro、DeepSeek V3、Claude 3.5 Sonnet 及 GPT-4o 等模型；而推理模型 Grok 3 reasoning Beta 在数学、科学、编程等表现上