DeepSeek-R1 \ Kimi 1.5 及 类强推理模型开发解读 陈博远 北京大学 2022 级“通班” 主要研究方向：大语言模型对齐与可扩展监督 https://cby-pku.github.io/ https://pair-lab.com/ 北大对齐小组 DeepSeek-R1 开创 RL 加持下强推理慢思考范式新边界 DeepSeek-R1 Zero 及 R1 技术剖析 DeepSeek-R1 在知识类问答上推动科学探索边界： MMLU \ MMLU-Pro \ GPQA Diamond 等 STEM- related 榜单上取得良好表现 R1 展现出强推理模型在 AI-Driven Research 的潜 力 在长文本依赖任务如 FRAMEs 和 事实性推断 任务 Si l QA 上表现突出 得益于强大的推理能力与长文本思考能力 ， DeepSeek be More Effective than Scaling Model Parameters Laws [1] 。 DeepSeek-R1 Zero: 无需监督微调 SFT ，纯强化学习驱动的强推理模型 DeepSeek-R1 技术剖析： DeepSeek-R1 Zero 8 大规模推理为中心的强化学习，提升模型数学代码能力

视觉模型），部分新的多模态模型架构 大模型的发展阶段 生成模型 ref:中文大模型基准测评2024年度报告(2025.01.08) 推理模型 生成模型与推理大模型的对比 比较项 OpenAI GPT-4o（生成模型） OpenAI o1（推理模型） 模型定位 专注于通用自然语言处理和多模态能力，适合日常对 话、内容生成、翻译以及图文、音频、视频等信息处 理、生成、对话等。 侧 界面友好，适合大众使用。 可自主链式思考，不需要太多的过程指令，整体交互节奏较慢。 D e e p S e e k R 1 PART 02 DeepSeek公司 2025年1月20日推出DeepSeek-R1推理模型 作为由知名私募巨头幻方量化孕育而生的公司，DeepSeek获得了强大的资金支持和行业 影响力，幻方量化与九坤投资、明汯投资、灵均投资并称量化私募领域的“四大天王”， 管理资金规模均超过60 究与开发 公司成立背景与 发展历程 大语言模型(LLM) 的创新应用 投资者背景与市 场定位 里程碑 DeepSeek模型系列 DeepSeek最新的生成模型和推理模型版本对比 比较方面 生成模型（V3） 推理模型（R1） 设计初衷 想要在各种自然语言处理的任务中都 能表现好，更通用 重点是为了搞定复杂的推理情况，比如 深度的逻辑分析和解决问题 性能展现 在数学题、多语言任务还有编码任务

2）可行逻辑-原本小模型在某些场景能 力无法达到，大模型具备可行性 3）创新逻辑-大模型发 掘了客户需求，在需求侧未提出要求情况下创造新场景 需求 各家积极发展结合强化学习、思维链的“后训练“，推出深度推理模型。在效率优 化方面，稀疏注意力、线性注意力等相关机制可大幅降低内存和计算成本。 正朝着处理更长序列、更大规模数据和实时应用场景的方向发展，新型高效注意力 算法和硬件协同优化可能成为重要突破口。 刻感知。 系统一 直觉和本能 系统二 理性 • 快思考：快速、自动、 直觉性、无意识 • 原本GPT系列思考形 态更类似于系统一 • 慢思考：缓慢、需要努力、 逻辑性、有意识 • 推理模型加强推理思考能力， 思考形态往系统二倾斜 95% 5% 自大模型发布以来，Scaling Law成为模型层发展迭代共识，国内大模型基座厂商均通过不断加大参数量级以获得模型能力的优化增强。 20 （RM）训练，通过收集人类反馈数据训练 奖励模型，评估输出质量；以及强化学习（RL），利用奖励模型反馈优化模型，最终生成更符合人类偏好的输出等。由于代码、数学等领 域更适配模型评估与奖励反馈环节，推理模型在这些领域的深度思考能力更强，而在文学、医药、科研等领域，因存在大量实验数据和非 唯一最优解等影响，后训练的效果提升相对有限。从落地质效来看，DeepSeek通过创新的模型结构和训练任务优化，如多令牌预测

2）可行逻辑-原本小模型在某些场景能 力无法达到，大模型具备可行性 3）创新逻辑-大模型发 掘了客户需求，在需求侧未提出要求情况下创造新场景 需求 各家积极发展结合强化学习、思维链的“后训练“，推出深度推理模型。在效率优 化方面，稀疏注意力、线性注意力等相关机制可大幅降低内存和计算成本。 正朝着处理更长序列、更大规模数据和实时应用场景的方向发展，新型高效注意力 算法和硬件协同优化可能成为重要突破口。 刻感知。 系统一 直觉和本能 系统二 理性 • 快思考：快速、自动、 直觉性、无意识 • 原本GPT系列思考形 态更类似于系统一 • 慢思考：缓慢、需要努力、 逻辑性、有意识 • 推理模型加强推理思考能力， 思考形态往系统二倾斜 95% 5% 自大模型发布以来，Scaling Law成为模型层发展迭代共识，国内大模型基座厂商均通过不断加大参数量级以获得模型能力的优化增强。 20 （RM）训练，通过收集人类反馈数据训练 奖励模型，评估输出质量；以及强化学习（RL），利用奖励模型反馈优化模型，最终生成更符合人类偏好的输出等。由于代码、数学等领 域更适配模型评估与奖励反馈环节，推理模型在这些领域的深度思考能力更强，而在文学、医药、科研等领域，因存在大量实验数据和非 唯一最优解等影响，后训练的效果提升相对有限。从落地质效来看，DeepSeek通过创新的模型结构和训练任务优化，如多令牌预测

预训练模型如GPT——疯狂读书，积 累知识，Scaling law撞墙  预训练模型思考深度不够  算力见顶，变成少数巨头游戏 预训练大模型 推理大模型 预训练大模型难以通往AGI之路  推理模型如R1——通过逻辑链条推导答案， 分解规划，自我反思  预训练范式像是记忆和模仿，强化学习范 式更像探索实践  记住很多东西只是基础，真正有价值的是 融会贯通 R1找到了人类通往AGI的方向 GPT、DeepSeek-V3擅长的 思考方式 推理能力获得突破的关键是学会了「慢思考」 例：课堂提问 快问快答  长思维链强大的推理能力是真正人类智力的体现  预训练大模型是人记忆和学习的能力，推理模型是对复杂问题 进行规划、分解、预测的能力，实现了真正的慢思考 28 例：课后作业 仔细思考 政企、创业者必读 DeepSeek-R1是AI发展史上的重要里程碑 R1形成了新的AGI定律，加速了AGI发展 赋予自动驾驶复杂物理世界理解能力 从规则驱动到学习驱动 43 政企、创业者必读  人工智能的目标是星辰大海，是为了让人类在科技上有突破  基于DeepSeek的强推理模型，利用科学领域专业知识进行强化学习， 能够打造更加专业的科学推理模型 DeepSeek六大应用方向之五 科学研究：打造科研新范式 44 政企、创业者必读 AI For Science，为基础科学带来革命性变化 2024

健康提醒 ⽩噪⾳帮助我⼊眠 ⽤户 19 基于 DeepSeek 病历讨论助⼿ 基于 DeepSeek 推理模型，整合患者的信息，辅助医⽣深度问诊、 鉴别诊断、病情分析和建议，提出治疗、预防等建议 • 基于 Deepseek ⼤模型，再现医⽣临床思维链路的推理模型 • ⾃动⽣成病情分析、 IDC ⾃动编码 • 分析准确率达 90% ，为医⽣提供权威决策⽀持

科研与学术⽅式和效率→通过⼤模型进⾏科研 课题筛选、⽂献收集、数据结构化提取和分析、 摘要及初稿撰写等 医⽣ 基于DeepSeek推理模型，整合患者的信息，辅助医⽣深度问诊、 鉴别诊断、病情分析和建议，提出治疗、预防等建议 • 基于Deepseek⼤模型，再现医⽣临床思维链路的推理模型 • ⾃动⽣成病情分析、IDC⾃动编码 • 分析准确率达90%，为医⽣提供权威决策⽀持 • 指出权威出处（如指南、专家共识等）

爱分析·流程智能化应用实践报告 报告综述 | 2025 爱分析 · 流程智能化实践报告 6 1. 报告综述 2025 年伊始，推理模型的崛起与 AI Agent 的再度火爆，使得流程智能化领域迎来新的突破机 会。金融、零售、制造等诸多企业在部署 DeepSeek 大模型之后，都在积极探索企业内部的流程 重构与效率提升场景。

模型灰度部署，逐步验证新版本性能，减少风险 应用可观测 提供统一的AI 应用&推理服务全链路性能观测看板，支持AI 应用&推理服务 的多维度指标监控和告警 提供AI模型推理性能评测工具，辅助制定 AI 基础设施与推理模型的备选选 型决策 ��

对模型的理解能 力逐渐丧失，深度学习模型的不可解释和不可见性使人们难以 理解模型的理论基础，而大模型众多参数更增加了理解难度， 只能通过过拟合测试验证。在此基础上并联一个VLM模型的优势 就在于使推理模型可解释性增强，并且应用强化学习实现无监 督学习。 VLM的另一个优势在于数据挖掘与场景理解。智能驾驶依赖海 量数据，但有效数据占比低，可以通过VLM模型进行高效挖掘， 加速数据分析和场景理解的迭代。