DeepSeek-R1 \ Kimi 1.5 及 类强推理模型开发解读 北大对齐小组 陈博远 北京大学2022级“通班” 主要研究方向：大语言模型对齐与可扩展监督 https://cby-pku.github.io/ https://pair-lab.com/ 2 Outline ➢ DeepSeek-R1 开创RL加持下强推理慢思考范式新边界 ➢ DeepSeek-R1 Zero 算法的创新：GRPO及其技术细节 ➢ DeepSeek-R1 背后的Insights & Takeaways：RL加持下的长度泛化 \ 推理范式的涌现 ➢ DeepSeek-R1 社会及经济效益 ➢ 技术对比探讨 ➢ STaR-based Methods vs. RL-based Methods 强推理路径对比 (DS-R1 \ Kimi-1.5 \ o-series) ➢ 蒸馏 vs. 强化学习驱动：国内外现有各家技术路线对比分析及Takeaways 未来方向分析探讨 ➢ 模态穿透赋能推理边界拓展：Align-DS-V ➢ 合成数据及Test-Time Scaling: 突破数据再生产陷阱 ➢ 强推理下的安全：形式化验证 Formal Verification \ 审计对齐 Deliberative Alignment ➢ 补充拓展：DeepSeek-V3 解读 3 DeepSeek-R1 开创RL加持下强推理慢思考范式新边界 ➢ OpenAI

CANN … 互联技术：灵衢 AI 芯片：昇腾、寒武纪 … DeepSeek-R1 进一步验证“算力即性能” Scaling Law 升级，模型能力 = 算力 x 数据 x 思考 + 逻辑推理 DeepSeek-V3/R1 OpenAI-o1/o3 算力 x 数据 重新定义 Scaling Law 延续智能涌现的 方向 2017 谷歌发布首个 Transformer Restricted Distribution 下一代 AI 技术 Mamba 、空间智能 等 算力 x 数据 x 思 考 模 型 效 果 低成本完美对标 OpenAI O1 ，突破精确语义理解及复杂推理任务 DeepSeek-V3 是一款 MoE 模型，总参数量 671B ，激活参数量 37B ，采用 2048 张 H800 （节点内 NVLink ，节点间 IB ，非超节点架构） 在 14.8T 自我验证机制： AI 的 " 错题本系 统 " 混合专家模型的 " 智能路由器“ 多头潜在注意力 MLA ：空间压缩术 训练框架加速： 16 到 3 的量化压 缩， 通信降低 89% 推理加速：预加载，动态批处理等 模型、数据、工具链、部署全开源 蒸馏技术使能第三方模型性能 DeepSeek V3 ：实现极致性能，稀疏 MOE 提质 降本 技术创新 硬件级、算法级、架构级、工程级、开

、 L1 、 L2 三个 层级 推理大模型 推理大模型的概念大规模传播应该开始于 2 0 2 4 年 9 月 份 。 2 0 2 4 年 9 月 1 2 日 ， OpenAI 官方宣布了 OpenAI o1 推 理大模 型。 OpenAI 定义推理模型 在 OpenAI 的官网上 ， OpenAI 定义推理模 型是在回答之前进行思考 理的方法。它让模型在得出最终答案之前 ， 先显式地写出推理的中间步骤。这就像人 类解决复杂问题时会先把思考过程写下来 一样。 推理模型的核心 也就是说 ，如果模型在回复你之前有一 长 串的思考过程（这个过程必须可以显 示输 出） ，探索了很多不同的路径之后 给出答 案 ，那么有这个能力的大模型就 是推理大 模型。推理模型的核心在于处 理那些需要 多步骤逻辑推导才能解决的 多步骤逻辑推导才能解决的 复杂问题。 3.4 大模型的分 类 大语言模型可以分为通用大模型和推理大模型 3.4 大模型的分 类 n 推理大模型 DeepSeek R1 的对话效果 非推理问题 ： ” 法国的首都是哪里 ？ ” （答案直接 、 无需推导 ） 推理问题： ” 一列火车以每小时 60 英里的速度行驶 3 小时 ， 行驶距离是多少？ ” （需先理解 ”距离 = 速度 × 时间 ” 的关系

（ Environment ）中不断尝试、学习 ，并优化自己 的策略（ Policy ） ，最终获得最大化的奖励 （ Reward ）。 DeepSeek ： 技术创新—推理模型 | RL DeepSeek 应用场 景 DeepSeek 的能力层级 • 1. 基础能力层 多模态数据融合与结构化理解 ，包括跨模态语义对齐（文本、 图像、 音频、 视频、 代 和动态数据治理（解决数据缺失、 噪音干扰、 概念飘逸等） ， 支持 200 多 种数据格式自动解析。 • 2. 中级能力层 领域问题建模与复杂推理 ，包括领域自适应学习（建立医、 教育、 金融垂直应用于 模型） 、 因果推理引擎（建立因果图模型） 和多目标优化决策（求解帕 累托最有解） 。 • 3. 高级能力层 复杂系统建模与自主决策 ，包括数字孪生仿真系统（构建物理于数字融合虚拟环境 恨聪明 但没那么听话 " DeepseekV3 Deepseek R1 Deepseek r1 鞅的证 明 Deepseek r1 Roy 安全准则组合模型推 理 Deepseek r1 推理玻尿酸配 方 DeepSeek 提示词工 程 提示词工程 Deepseek 十类提示 词 • 1. 内容生成类 ：文本生成、代码生成、创 意生成和数据模拟。 • 2. 信息处理类

机制，在处理序列数据时，能同时 关注输入序列的所有元素，并直接建立任意两个元素之间的联系，从而捕捉序列中的长距离依赖关系，实现对输入序列的 高效处理和理解。由于不依赖序列顺序，Transformer 架构在模型训练和推理时的并行处理能力更强，效率更高。 2. 参数规模大。大模型通常包含数千万、数亿甚至更多参数；巨大的参数规模使大模型能够处理更加复杂和多样的任务。 3. 强大的泛化能力。大模型通过在大规模数据集上 设计模型、应用文档的生成。 在模型具备语言理解的基础之上，工业大模型具备 了内容创作与生成的能力，这种内容生成的能力可 大幅提高内容生成效率，提升员工工作效率。其与 工业设备及系统的自然交互及推理的能力，可助力 基于 LLM 工业代码的快速生成、优化与调试，大大 促进工业应用的生成与落地。 尽管目前工业大模型的应用已经渗透到工业的多个环节，应用场景较多，但碎片化明显。其中，知识管理/知识问答、数据 E-core（能效核）相结合。英特尔® 硬件线程调度器可智能指示操作系统将适当的工作负载与合适的内核相匹配。 硬件加速核英特尔® 锐炬® X 显卡成就出色的 AI 功能 大量的图形 EU 同样便于 AI 推理，可提高 AI 工作负载常用数学运算的并行程度。该平台还通过英特尔® 深度学习加速技术 （英特尔® DL Boost）和 VNNI 指令支持基于硬件的 AI 加速，通过 Int8 量化实现强大的 AI

DeepSeek（深度求索）是中国首个全栈开源的大语言模型，由杭州深度求索人工智能 公司研发，定位为“认知智能引擎”。简单来说，它是一个能像人类一样思考、学习和解 决问题的超级 AI 工具。 核心能力： ⚫ 复杂推理：像学霸解数学题一样处理逻辑难题（R1 模型） ⚫ 多模态融合：能理解文字、图片、文件等多种信息（未来还将支持语音和视频） ⚫ 超长上下文：一口气读完 3-4 万字的长文档（64Ktoken 划时代意义：中国 AI 的破局之战 DeepSeek 的诞生不仅是技术突破，更是国家战略级的里程碑： 成本革命： ⚫ 训练成本仅 558 万美元（仅为美国同类模型的 1/20） ⚫ 推理速度提升 3 倍，生成文字速度从 20 字/秒提升至 60 字/秒 行业重塑： ⚫ 迫使国际巨头降价（如 AnthropicClaude 降价 30%） ⚫ 首款登顶全球 140 译成 “quietquitting”） 局限：复杂逻辑问题需升级至 R1 版本 模块 2：深度思考（R1）——决策智囊团 技术突破： ⚫ 思维链可视化：像老师写板书一样展示推理步骤（如解方程时先分解条件再推 导） ⚫ 反事实推演：模拟“如果特斯拉降价 10%”对产业链的 6 级影响 实战场景： ⚫ 医疗诊断：输入症状自动关联相似病例，生成检查建议（需医生复核）