DeepSeek-R1 \ Kimi 1.5 及 类强推理模型开发解读 陈博远 北京大学 2022 级“通班” 主要研究方向：大语言模型对齐与可扩展监督 https://cby-pku.github.io/ https://pair-lab.com/ 北大对齐小组 DeepSeek-R1 开创 RL 加持下强推理慢思考范式新边界 DeepSeek-R1 Zero 及 R1 技术剖析 DeepSeek-R1 在知识类问答上推动科学探索边界： MMLU \ MMLU-Pro \ GPQA Diamond 等 STEM- related 榜单上取得良好表现 R1 展现出强推理模型在 AI-Driven Research 的潜 力 在长文本依赖任务如 FRAMEs 和 事实性推断 任务 Si l QA 上表现突出 得益于强大的推理能力与长文本思考能力 ， DeepSeek be More Effective than Scaling Model Parameters Laws [1] 。 DeepSeek-R1 Zero: 无需监督微调 SFT ，纯强化学习驱动的强推理模型 DeepSeek-R1 技术剖析： DeepSeek-R1 Zero 8 大规模推理为中心的强化学习，提升模型数学代码能力

DeepSeek-R1 \ Kimi 1.5 及 类强推理模型开发解读 北大对齐小组 陈博远 北京大学2022级“通班” 主要研究方向：大语言模型对齐与可扩展监督 https://cby-pku.github.io/ https://pair-lab.com/ 2 Outline ➢ DeepSeek-R1 开创RL加持下强推理慢思考范式新边界 ➢ DeepSeek-R1 Zero DeepSeek-R1 在知识类问答上推动科学探索边界： ➢ MMLU \ MMLU-Pro \ GPQA Diamond 等 STEM- related 榜单上取得良好表现 ➢ R1 展现出强推理模型在 AI-Driven Research 的潜力 ➢ 在长文本依赖任务如 FRAMEs 和 事实性推断任务 Simple-QA上表现突出 5 回顾：Pre-Training Scaling Scaling Model Parameters 8 DeepSeek-R1 技术剖析：DeepSeek-R1 Zero DeepSeek-R1 Zero: 无需监督微调SFT，纯强化学习驱动的强推理模型 DeepSeek-v3-Base (671B) DeepSeek-R1-Zero 基于规则的奖励 Rule-Based Reward 推理为中心的大规模强化学习 Large-Scale

视觉模型），部分新的多模态模型架构 大模型的发展阶段 生成模型 ref:中文大模型基准测评2024年度报告(2025.01.08) 推理模型 生成模型与推理大模型的对比 比较项 OpenAI GPT-4o（生成模型） OpenAI o1（推理模型） 模型定位 专注于通用自然语言处理和多模态能力，适合日常对 话、内容生成、翻译以及图文、音频、视频等信息处 理、生成、对话等。 侧 界面友好，适合大众使用。 可自主链式思考，不需要太多的过程指令，整体交互节奏较慢。 D e e p S e e k R 1 PART 02 DeepSeek公司 2025年1月20日推出DeepSeek-R1推理模型 作为由知名私募巨头幻方量化孕育而生的公司，DeepSeek获得了强大的资金支持和行业 影响力，幻方量化与九坤投资、明汯投资、灵均投资并称量化私募领域的“四大天王”， 管理资金规模均超过60 究与开发 公司成立背景与 发展历程 大语言模型(LLM) 的创新应用 投资者背景与市 场定位 里程碑 DeepSeek模型系列 DeepSeek最新的生成模型和推理模型版本对比 比较方面 生成模型（V3） 推理模型（R1） 设计初衷 想要在各种自然语言处理的任务中都 能表现好，更通用 重点是为了搞定复杂的推理情况，比如 深度的逻辑分析和解决问题 性能展现 在数学题、多语言任务还有编码任务

系列专题线上公开课（第二季） 从大模型、智能体到复杂 AI 应用系统的构 建 —— 以产业大脑为例 肖俊 浙江大学计算机学科与技术学院人工智能研究所 2025 03 杭州 • 大模型推理能力快速提 升 • 推理模型和思维链 (CoT) • 智能体是什么？ • 四链融合产业大脑案例 提纲 大模型推理能力快速提升 开始模仿人 脑进行大量 数据的标记 和训练 神经网络 CNN RNN GAN OpenAI o1/o3 、 DeepSeek- R1 等 1. 早期的大模型推理能力不足 2. OpenAI-o 系列模型和 DeepSeek-R1 等胜在推理能力较 强 小结一： 推理模型和思维链 (Chain of Thought, CoT) QwQ 由通义千问 开发， QwQ 能通 过思考与疑问解 决 一些复杂的问 题。 HIMl DeepSeek-R1 DeepSeek-R1 的推理过 程 s1 通过在一个精心构建的小规模数据集上（ 1000 条数据） 进行微调， 并结合预算强制技术，实现了强大的推理能力和测试时计算扩展性 如何低成本实现推理模型？ Less Is More for Reasoning LIMO 假说： 在预训练阶段已经充 分 编码领域知识的基础模型中， 复 杂 的推理能力可以通过最少但精 确编 排的认知过程演示来涌现：

（ Environment ）中不断尝试、学习 ，并优化自己 的策略（ Policy ） ，最终获得最大化的奖励 （ Reward ）。 DeepSeek ： 技术创新—推理模型 | RL DeepSeek 应用场 景 DeepSeek 的能力层级 • 1. 基础能力层 多模态数据融合与结构化理解 ，包括跨模态语义对齐（文本、 图像、 音频、 视频、 代 Qwen 蒸馏 的 DeepSeek - R1 推理模型 ，涵盖多种不同参数规模 ，适合想在本地运行模型的用户。 • 第三方 UI 客户管接入服务： 可通过 Anything LLM 、 Cherry Studio 、 Chatbox 等选择 API 接入。 • 秘塔 AI 搜索： 接入满血版 DeepSeek - R1 推理模型 ， 无广告且搜索结果直达。 以学习 JDK21 新特性 siliconflow.cn/i/z0sI0urY 通过创建 API key 调 用 模型微调工程 u 对话模型微调 u 生图模型微调 华为云模型微调 老师模型 模型蒸馏工程 DeepSeek ： 推理模型 | 推理能力 蒸馏 DeepSeek 蒸馏模 型 学生模型 小模型：相当于一枚小学生 ，知识面非常有限 ，但是胜在 没 教授那么大谱 ，给个板凳坐着就够了（部署成本低 ，推 理成 本低）。

2）可行逻辑-原本小模型在某些场景能 力无法达到，大模型具备可行性 3）创新逻辑-大模型发 掘了客户需求，在需求侧未提出要求情况下创造新场景 需求 各家积极发展结合强化学习、思维链的“后训练“，推出深度推理模型。在效率优 化方面，稀疏注意力、线性注意力等相关机制可大幅降低内存和计算成本。 正朝着处理更长序列、更大规模数据和实时应用场景的方向发展，新型高效注意力 算法和硬件协同优化可能成为重要突破口。 刻感知。 系统一 直觉和本能 系统二 理性 • 快思考：快速、自动、 直觉性、无意识 • 原本GPT系列思考形 态更类似于系统一 • 慢思考：缓慢、需要努力、 逻辑性、有意识 • 推理模型加强推理思考能力， 思考形态往系统二倾斜 95% 5% 自大模型发布以来，Scaling Law成为模型层发展迭代共识，国内大模型基座厂商均通过不断加大参数量级以获得模型能力的优化增强。 20 （RM）训练，通过收集人类反馈数据训练 奖励模型，评估输出质量；以及强化学习（RL），利用奖励模型反馈优化模型，最终生成更符合人类偏好的输出等。由于代码、数学等领 域更适配模型评估与奖励反馈环节，推理模型在这些领域的深度思考能力更强，而在文学、医药、科研等领域，因存在大量实验数据和非 唯一最优解等影响，后训练的效果提升相对有限。从落地质效来看，DeepSeek通过创新的模型结构和训练任务优化，如多令牌预测

2）可行逻辑-原本小模型在某些场景能 力无法达到，大模型具备可行性 3）创新逻辑-大模型发 掘了客户需求，在需求侧未提出要求情况下创造新场景 需求 各家积极发展结合强化学习、思维链的“后训练“，推出深度推理模型。在效率优 化方面，稀疏注意力、线性注意力等相关机制可大幅降低内存和计算成本。 正朝着处理更长序列、更大规模数据和实时应用场景的方向发展，新型高效注意力 算法和硬件协同优化可能成为重要突破口。 刻感知。 系统一 直觉和本能 系统二 理性 • 快思考：快速、自动、 直觉性、无意识 • 原本GPT系列思考形 态更类似于系统一 • 慢思考：缓慢、需要努力、 逻辑性、有意识 • 推理模型加强推理思考能力， 思考形态往系统二倾斜 95% 5% 自大模型发布以来，Scaling Law成为模型层发展迭代共识，国内大模型基座厂商均通过不断加大参数量级以获得模型能力的优化增强。 20 （RM）训练，通过收集人类反馈数据训练 奖励模型，评估输出质量；以及强化学习（RL），利用奖励模型反馈优化模型，最终生成更符合人类偏好的输出等。由于代码、数学等领 域更适配模型评估与奖励反馈环节，推理模型在这些领域的深度思考能力更强，而在文学、医药、科研等领域，因存在大量实验数据和非 唯一最优解等影响，后训练的效果提升相对有限。从落地质效来看，DeepSeek通过创新的模型结构和训练任务优化，如多令牌预测

2、智算需求持续高涨，核心驱动力由“训练”转向“推理” 推理模型快速普及并从纯文本走向多模态。OpenAI 于 2024 年 9 月发布的 o1-preview 模型拉开推理模型帷幕。推理模型基于 基础模型开发，其通过在推理过程中引入长思维链，实现了与普 通模型截然不同的问题解决方法，即在输出答案前先进行“思考”， 因此更为擅长处理谜题、高级数学和高难度编程等需要多步骤逻 辑推导的任务。推理模型的“思考过程”可以向用户展示，如 年以来，全球科技企业 陆续推出推理模型，如深度求索的 DeepSeek-R1、xAI 的 Grok-3 （ Think 模 式 /Big Brain 模 式 ） 和 Grok-3 mini Reasoning、 Anthropic 的 Claude 3.7 Sonnet，阿里云通义团队的 QwQ-32B、 字节跳动豆包团队的 Seed-Thinking-v1.5 等。同时，推理模型正 在从 LLM 走向多模态，如 走向多模态，如 OpenAI 的 o3 和 o4-mini、阿里云通义 团队的 QVQ-Max 等均是视觉推理模型。OpenAI o3 和 o4-mini 可 以使用图像进行思维链推理，如解读白板照片、教科书图表或手 绘草图等，并可借助工具对图像进行旋转、缩放或变换等操作， 智算产业发展研究报告（2025） 9 以及与 Python 数据分析、网络搜索、图像生成等工具协同工作。 后训

预训练模型如GPT——疯狂读书，积 累知识，Scaling law撞墙  预训练模型思考深度不够  算力见顶，变成少数巨头游戏 预训练大模型 推理大模型 预训练大模型难以通往AGI之路  推理模型如R1——通过逻辑链条推导答案， 分解规划，自我反思  预训练范式像是记忆和模仿，强化学习范 式更像探索实践  记住很多东西只是基础，真正有价值的是 融会贯通 R1找到了人类通往AGI的方向 GPT、DeepSeek-V3擅长的 思考方式 推理能力获得突破的关键是学会了「慢思考」 例：课堂提问 快问快答  长思维链强大的推理能力是真正人类智力的体现  预训练大模型是人记忆和学习的能力，推理模型是对复杂问题 进行规划、分解、预测的能力，实现了真正的慢思考 28 例：课后作业 仔细思考 政企、创业者必读 DeepSeek-R1是AI发展史上的重要里程碑 R1形成了新的AGI定律，加速了AGI发展 赋予自动驾驶复杂物理世界理解能力 从规则驱动到学习驱动 43 政企、创业者必读  人工智能的目标是星辰大海，是为了让人类在科技上有突破  基于DeepSeek的强推理模型，利用科学领域专业知识进行强化学习， 能够打造更加专业的科学推理模型 DeepSeek六大应用方向之五 科学研究：打造科研新范式 44 政企、创业者必读 AI For Science，为基础科学带来革命性变化 2024

关 键信息， 高效完成合同质检、条款比对等工作，大 幅 提升工作效率与准确性。 n 江苏银行已成功本地化部署微调 DeepSeek-VL2 多模态 模型、轻量 DeepSeek-R1 推理模型， 分别运用于智能 合同质检和自动化估值对账场景中。 资料来源：上海证券报，搜狐，中泰证券研究所 16 降本增效场景之三：智能合同质检 图表：江苏银行 AI 布 局 n AI Coding “抵押率”“偿债覆盖率”等术语转化为业务逻辑，应用于 合同 解析与风险建模 邮储银行 技术落地：依托自有大模型“邮智”，本地部署并集成 DeepSeek-V3 模型和 DeepSeek-R1 推理模型 应用场景：应用于智能客服“小邮助手”后，新增逻辑推理功能，可精准识别用户需求，提供个性化和场景化的服务方案，加快响应速度和任务处理效率 技术落地：“ AI 理财顾问”引入 DeepSeek 浦发银行 应用场景：融合“五横六纵”企业级知识库，嵌入数字员工助手应用，赋能智能问答、指标问答、财务分析、报告写作等多个应用场景 江苏银行 技术落地：部署 DeepSeek-VL2 多模态模型和 R1 推理模型 成效展示：合同质检准确率达 96% ，自动化估值对账场景日均节省 9.68 小时人工工作量，风险预警响应速度提升 20% DeepSeek 应用进展 数据来源：中电金信研究院公众号，中泰证券研究所