DeepSeek-R1 \ Kimi 1.5 及 类强推理模型开发解读 陈博远 北京大学 2022 级“通班” 主要研究方向：大语言模型对齐与可扩展监督 https://cby-pku.github.io/ https://pair-lab.com/ 北大对齐小组 DeepSeek-R1 开创 RL 加持下强推理慢思考范式新边界 DeepSeek-R1 Zero 及 R1 技术剖析 及其技术细节 DeepSeek-R1 背后的 Insights & Takeaways ： RL 加持下的长度泛化 \ 推理范式的涌现 DeepSeek-R1 社会及经济效益 技术对比探讨 STaR-based Methods vs. RL-based Methods 强推理路径对比 (DS-R1 \ Kimi-1.5 \ o- series) 蒸馏 vs. 强化学习驱动：国内外现有各家技术路线对比分析及 PRM & MCTS 的作用 从文本模态到多模态 其他讨论： Over-Thinking 过度思考等 未来方向分析探讨 模态穿透赋能推理边界拓展： Align-DS-V 合成数据及 Test-Time Scaling: 突破数据再生产陷阱 强推理下的安全：形式化验证 Formal Verification \ 审计对齐 Deliberative Alignment Outline

…… l 行业模型（垂直模型、垂类模型） Ø 教育、医疗、金融等 大模型的前世今生 •人工智能：让机器具备动物智能，人类智能，非人类智能（超人类智能） •运算推理：规则核心；自动化 •知识工程：知识核心；知识库+推理机 •机器学习：学习核心；数据智能（统计学习方法，数据建模） •常规机器学习方法：逻辑回归，决策森林，支持向量机，马尔科夫链，….. •人工神经网络：与人脑最大的共同点是名字，机制和架构并不一样 ref:中文大模型基准测评2024年度报告(2025.01.08) 推理模型 生成模型与推理大模型的对比 比较项 OpenAI GPT-4o（生成模型） OpenAI o1（推理模型） 模型定位 专注于通用自然语言处理和多模态能力，适合日常对 话、内容生成、翻译以及图文、音频、视频等信息处 理、生成、对话等。 侧重于复杂推理与逻辑能力，擅长数学、编程和自然语言推理任 务，适合高难度问题求解和专业领域应用。一般是在生成模型的 务，适合高难度问题求解和专业领域应用。一般是在生成模型的 基础上通过RL方法强化CoT能力而来 推理能力 在日常语言任务中表现均衡，但在复杂逻辑推理（如 数学题求解）上准确率较低。 在复杂推理任务表现卓越，尤其擅长数学、代码推理任务。 多模态支持 支持文本、图像、音频乃至视频输入，可处理多种模 态信息。 当前主要支持文本输入，不具备图像处理等多模态能力。 应用场景 适合广泛通用任务，如对话、内容生成、多模态信息 处理以

业 替 代 、 隐 私 安 全 等 问 题 仍 引 发 一 定 焦 虑 。 技 术 方 面 ， Transformer架构依然主导大模型发展，研发侧通过强化学习、思维链优化提升模型推理能力， 同时加速跨模态融合，并在推理效率优化和新型注意力机制等方面持续探索，推动AI产业向更 高水平迈进。 宏观环境 产业动态 发展趋势 1）市场规模增速略低于预期：2024年中国AI产业规模为2697亿元，增速26 主要原因为大模型在实际业务场景的表现未完全满足客户需求，且建设成本较高，较多项目仍 处于探索阶段。 2）算力需求结构性转变：2024年部分地区智算中心出现闲置，但这主要是供需错配导致。随 着DeepSeek等开源模型推动推理应用爆发，推理侧算力需求大幅上涨，智算中心利用率有望 逐步提高。 3) 工具生态日益完善：分布式AI框架、LLMOps平台和一体机产品等不断发展，深度融合软硬 件优势，加速了大模型的训练与部署，有效支撑了产业侧大模型的应用建设。 2）可行逻辑-原本小模型在某些场景能 力无法达到，大模型具备可行性 3）创新逻辑-大模型发 掘了客户需求，在需求侧未提出要求情况下创造新场景 需求 各家积极发展结合强化学习、思维链的“后训练“，推出深度推理模型。在效率优 化方面，稀疏注意力、线性注意力等相关机制可大幅降低内存和计算成本。 正朝着处理更长序列、更大规模数据和实时应用场景的方向发展，新型高效注意力 算法和硬件协同优化可能成为重要突破口。

业 替 代 、 隐 私 安 全 等 问 题 仍 引 发 一 定 焦 虑 。 技 术 方 面 ， Transformer架构依然主导大模型发展，研发侧通过强化学习、思维链优化提升模型推理能力， 同时加速跨模态融合，并在推理效率优化和新型注意力机制等方面持续探索，推动AI产业向更 高水平迈进。 宏观环境 产业动态 发展趋势 1）市场规模增速略低于预期：2024年中国AI产业规模为2697亿元，增速26 主要原因为大模型在实际业务场景的表现未完全满足客户需求，且建设成本较高，较多项目仍 处于探索阶段。 2）算力需求结构性转变：2024年部分地区智算中心出现闲置，但这主要是供需错配导致。随 着DeepSeek等开源模型推动推理应用爆发，推理侧算力需求大幅上涨，智算中心利用率有望 逐步提高。 3) 工具生态日益完善：分布式AI框架、LLMOps平台和一体机产品等不断发展，深度融合软硬 件优势，加速了大模型的训练与部署，有效支撑了产业侧大模型的应用建设。 2）可行逻辑-原本小模型在某些场景能 力无法达到，大模型具备可行性 3）创新逻辑-大模型发 掘了客户需求，在需求侧未提出要求情况下创造新场景 需求 各家积极发展结合强化学习、思维链的“后训练“，推出深度推理模型。在效率优 化方面，稀疏注意力、线性注意力等相关机制可大幅降低内存和计算成本。 正朝着处理更长序列、更大规模数据和实时应用场景的方向发展，新型高效注意力 算法和硬件协同优化可能成为重要突破口。

代表技术路线“⼤数据、⼤算⼒、通⽤范式”，验证⼤语⾔模型的可⾏性。 • GPT3/4 在深度推理和问题解决⽅⾯有所⽋缺， OpenAI-o1 通过思维链（ Chain of Thought ）增强推理能⼒，将复杂问题 分 解成更⼩、更易处理的步骤；⽽ DeepSeek R1 在展现卓越推理能⼒同时， 训练和推理成本极低 GPT 为内容创造和自动推理开辟可能性 “大数据、大算力、通用模式” BERT BERT 在文本分类、命名实体识别等 在文本分类、命名实体识别等 语言理解任务表现出色。也是医疗 AI 小模型年代主要技术路线 “ 大数据、小算力、专用决策” DeepSeek-R1 基于 DS-v3 构建推理模 型，通过强化学习提升推 理能力，且训练成本极低 AI 技术演变 路线 数据来源： 1. 甲⼦光年智库梳理， 2023 年； 5 体验： 哎哟 不错噢 低成本，超出⽤户预期的“智能” 增长：破圈，两个⽉到⼀亿⽤户的速度 亿）。作为通⽤⼤ 语⾔模 型，其在在知识类任务（知识问答、内容⽣成等）领域表现出⾊ • DeepSeek-R1 是基于 DeepSeek-V3-Base 训练⽣成的强化推理能⼒模型， 在 数学、代码⽣成和逻辑推断等复杂推理任务上表现优异 更低的研发成本 * 更⾼效资源利⽤ $5.5M vs. OpenAI’s $100M+ 使⽤ ~2

GPT3/4在深度推理和问题解决⽅⾯有所⽋缺，OpenAI-o1通过思维链（ChainvofvThought）增强推理能⼒，将复杂问题分 解成更⼩、更易处理的步骤；⽽DeepSeek R1在展现卓越推理能⼒同时，训练和推理成本极低 BERT BERT在文本分类、命名实体识别等 语言理解任务表现出色。也是医疗AI 小模型年代主要技术路线 “大数据、小算力、专用决策” GPT 为内容创造和自动推理开辟可能性 为内容创造和自动推理开辟可能性 “大数据、大算力、通用模式” 基于DS-v3构建推理模 型，通过强化学习提升推 理能力，且训练成本极低 AI技术演变路线 5 理解Chatgpt,J⼀个AI领域的“⼯程奇迹” Chatbot： ⽂本交互式应⽤ Gpt3： 预训练⼤模型 Prompt engineering 提⽰词⼯程 RLHF 强化学习 Nvidia A100（A800） ⾼性能卡 SFT 监督微调 RDMA 语⾔模型，拥有6710亿参数（激活参数370亿）。作为通⽤⼤语⾔模 型，其在在知识类任务（知识问答、内容⽣成等）领域表现出⾊ • DeepSeek-R1 是基于 DeepSeek-V3-Base 训练⽣成的强化推理能⼒模型，在 数学、代码⽣成和逻辑推断等复杂推理任务上表现优异 更低的研发成本* 更⾼效资源利⽤ $5.5M%vs.%OpenAI’s%$100M+ 使⽤~2,000%GPUs,%竞品使⽤% 10,000+%GPUs

型AI  从擅长理解的认知型AI，发展到擅长文字生成的生成式AI  从语言生成式AI，发展到可理解和生成声音、图片、视频的多模态AI  从生成式AI，发展到推理型AI 专家系统 感知AI 认知AI 生成式AI 多模态AI 推理式AI 9 政企、创业者必读 人工智能发展历程（二）  从单纯对话的大模型AI，发展到具有行动和执行能力的智能体AI  从数字空间中的AI，走向能理解和操控物理空间的AI Scaling Law边际效应递减  人类训练数据接近枯竭  合成数据无法创造新知识  推理能力难以泛化，成本高昂 全面超越人类的人工智能在逻辑上不成立 政企、创业者必读 15 DeepSeek出现之前的十大预判 之二 慢思考成为新的发展模式  大模型发展范式正在从「预训练」转向「后训练」和「推理时计算」  大模型厂商都在探索慢思考、思维链技术 政企、创业者必读 DeepSeek出现之前的十大预判 数规模前提下，大幅提升复杂推理能力 • 通过后训练算力和推理算力，在不增加 预训练算力前提下，大幅提升模型性能 DeepSeek颠覆式创新——技术创新 26 政企、创业者必读  预训练模型如GPT——疯狂读书，积 累知识，Scaling law撞墙  预训练模型思考深度不够  算力见顶，变成少数巨头游戏 预训练大模型 推理大模型 预训练大模型难以通往AGI之路  推理模型如R1——通过逻辑链条推导答案，

主，结合部分零售业务 • 第三方服务商占据定制 批发市场的主要份额 • 需求来源以智算为主要 驱动，通算稳定增长 • 受益于大模型的训练需 求增长，定制批发模式 再迎发展机遇 • 零售模式有望在推理场 景中实现进一步增长 代表性 供给方 资料来源：灼识咨询 萌芽期 探索期 爆发期 转型期 繁荣期 2022-2023 2009-2014 2003-2008 2000-2002 2024-未来 算力的主力军。借助云计算实现零散智算资源集中与纳管的优势，各大云厂商纷纷在智算领域进行布局，形成千卡、万卡智能云集群，以云服务的方式提供可便捷 获取的智能算力。云计算与智算资源融合形成的智能云能够为大模型训练和推理提供充足的算力资源，已经成为促进人工智能领域发展的坚实底座。 年均复合增长率 2015-2021 2021-2023 2023-2028E 66.5% 44.6% 39.3% 24.9% 23 展，"AI+"战略将全面赋能推动千行百业加速迈向全面智能化与数字化转型的新纪元。 13 资料来源： 灼识咨询 AIGC时代到来 • 2022年12月，OpenAI推出的 ChatGPT展现出了其在逻辑推理和 文本理解上的强大能力，且其生产 的内容已接近人类创作水平，这标 志着AI大模型能力的进一步飞跃。 • AI大模型高度智能化的生成能力具 备巨大潜力和无限可能，为其在各 个领域的应用提供了更广阔的空间。

策略能够直接支持业务创新发展，发挥大模型优势，提升业务价值，并通过 ROI（投资回报率）指标确认多云策略的成功。同时，伴随生成式人工智逐 步落地，推理任务逐渐增加，企业应审慎应对未来AI应用对数据传输、计算 资源等维度的更高要求，以确保推理任务获得更佳的访问性能、资源利用效 率、扩展性、灵活性、安全性和成本优势等。此外，企业在选择新的云服务 商时，应重点考量其对未来多模态、多场景、多技术栈等趋势的综合支撑能 提升业务敏捷性；此外，在 面对AI开发需求时，企业可根据自身对算力、算法、应用开发、数据安全、 时延保障等方面的要求，综合考量，采用公有智算资源、专属智算集群、自 建智算集群等方式，开展训练和推理业务，满足成本和规模化的考量。 场景三：构建企业创新能力。随着大模型带来的新的AGI场景的兴起，企业需 要引入更多的AI原生开发工具能力，构建“AI+”应用。同时，企业还对研 发、测试、交付过 智能和数字化业务发展？ 多云策略 重点云策略 混合云策略 以开源为中心的策略 云平台不重要 �.�% ��.�% ��.�% ��.�% ��.�% �� AI模型的训练与推理任务对计算资源的需求差异显著，多云环境为企业提供 了依据具体应用场景灵活调整算力的能力，有助于实现性能表现与成本控制 之间的最佳化。 不同的云服务提供商可以提供各具特色的AI工具和服务，实施多云策略则赋

Supplyframe, Inc. Confidential & Proprietary. Do not reproduce or distribute. 1. 智算产业现状总览 核心点： 驱动力 ｜ AI训练与推理需求激增，驱动算力基础设施快速迭代 技术体系全景 ｜ 覆盖芯片器件层（CPU/GPU/TPU）、硬件设施层（AI服务器/液冷）、平台调度 层（弹性调度/绿色节能）、应用场景层（AI训练/边缘智能） Proprietary. Do not reproduce or distribute. 1. 智算产业现状总览 智算中心技术体系全景图 应用场景层 ｜ • AI训练 • 实时推理 • 边缘智能 • 科学仿真 算力资源层 ｜ • 基础算力 • 智能算力GPU集群 • HPC • 边缘算力 平台调度层 ｜ • 异构资源管理 distribute. 2. 算力基础设施架构和国产化情况 核心点： 基础地位 ｜ 算力基础设施是智算产业底座，我国在用/在建算力规模反映产业发展潜力。 架构选择 ｜ AI训练主要依赖GPU集群，推理向边缘算力延伸，需异构资源管理与高速网络支 持。 国产替代 ｜ 国产算力卡逐步替代进口，但关键芯片仍依赖国际供应链。 能耗挑战 ｜ 单机柜性能提升导致能耗压力，需液冷技术等绿色节能方案优化。 12