DeepSeek-R1 \ Kimi 1.5 及 类强推理模型开发解读 北大对齐小组 陈博远 北京大学2022级“通班” 主要研究方向：大语言模型对齐与可扩展监督 https://cby-pku.github.io/ https://pair-lab.com/ 2 Outline ➢ DeepSeek-R1 开创RL加持下强推理慢思考范式新边界 ➢ DeepSeek-R1 Zero 具备强大推理能力与长文本思考能力，继开源来备受关注。 ➢ DeepSeek R1-Zero 和 R1的出现再次证明了强化学习的潜力所在： ➢ R1-Zero 从基础模型开始构建，完全依赖强化学习，而不使用人类专家标注的监督微调（SFT）； ➢ 随着训练步骤增加，模型逐渐展现出长文本推理及长链推理能力； ➢ 随着推理路径增长，模型表现出自我修复和启发式搜索的能力； 4 DeepSeek-R1 开创RL加持下强推理慢思考范式新边界 Effective than Scaling Model Parameters 8 DeepSeek-R1 技术剖析：DeepSeek-R1 Zero DeepSeek-R1 Zero: 无需监督微调SFT，纯强化学习驱动的强推理模型 DeepSeek-v3-Base (671B) DeepSeek-R1-Zero 基于规则的奖励 Rule-Based Reward 推理为中心的大规模强化学习

+ISV/ 云，商业模式逐渐成熟 DeepSeek 能力提升成为各行业生产力工具，加速推理落地千行 百业 DeepSeek 催熟大模型落地技术， 降低推理部署门 槛 行业大模型 大量行业数据 监督微调 SFT 基础模型 Llama 、 Qwen 、 … 开箱即用的一体机，加速大模型应用落地 华为云 移动云 电信天翼云 联通云 京东云 基础模型 (DeepSeek/ Llama/Qwen/…) 亚马逊 AWS 微软 Azure 部署更高效 月级调优 周 / 天级优 化 数据依赖降低 高质量数据 生成数据 算法依赖降低 高端人才 开源 + 蒸 馏 监督微调 SFT NVIDIA Hugging Face GitHub 更多行业 高质量数据生成 强化学习 主流云服务商已支持 DS 覆盖公 / 私有云部署 模型蒸馏 - 模型小型化

的质量直接影响微调的效果 ， 需 要确 保数据标注的准确性和一致性。 （ 2 ）合理的微调策略： 选择合适 的 微调算法和超参数 ，避免过拟合 或欠 拟合问题。 4.4 本地部署大模型方 案 在监督微调阶段 ，模型会学习一个 指令 - 响应（ Instruction-Response ） 数据集 ， 该数据集包含大 量人 类编写的任务示例 ，例如“请解释相对论的基本概念”及其标准答案 通过这种方式 ，更好地选择符合人类偏好的答案 数据准备成本高 需要收集、 整理和标注大量特定领域的数据 ，这是一个 耗 时费力的过程 4.4 本地部署大模型方 案 模型微调主要是指令微调 ，指令微调包括两个阶段： 监督微调和强化学 习 监督微调 强化学习 不足之处： n 本地知识库 RAG （ Retrieval-Augmented Generation ） ， 即检索增强生成 ，是一种结合检索技术和生成模型的技术框