DeepSeek-R1 \ Kimi 1.5 及 类强推理模型开发解读 北大对齐小组 陈博远 北京大学2022级“通班” 主要研究方向：大语言模型对齐与可扩展监督 https://cby-pku.github.io/ https://pair-lab.com/ 2 Outline ➢ DeepSeek-R1 开创RL加持下强推理慢思考范式新边界 ➢ DeepSeek-R1 Zero 推理范式的涌现 ➢ DeepSeek-R1 社会及经济效益 ➢ 技术对比探讨 ➢ STaR-based Methods vs. RL-based Methods 强推理路径对比 (DS-R1 \ Kimi-1.5 \ o-series) ➢ 蒸馏 vs. 强化学习驱动：国内外现有各家技术路线对比分析及Takeaways ➢ PRM & MCTS 的作用 ➢ 从文本模态到多模态 ➢ 其他讨论：Over-Thinking ➢高效创新：在有限算力资源支持下，算法创新模式，突破了算力的“卡脖子”限制 28 技术对比讨论：Kimi K1.5 Moonshot Kimi K1.5 Main Result Kimi K1.5 Long2Short Result K1.5 专注于用长文本CoT 解决推理时Scaling问题 ➢ 利用 RL 探索：Kimi k1.5 的核心思想是利用强化学习，让模型通过试错（探索）来学习解决问题的能 力，而不是仅仅依赖于静态数据集。

SFT+2 阶段 RL 完成，从而解决 R1-Zero 可读性差、 多种 语言混合问题 本次开源同时发布了 6 个基于 DeepSeek-R1 蒸馏的更小稠密模 型 （ Qwen/LLaMa 1.5B 7B 14B 32B 70B ） DeepSeek-R1 以 DeepSeek-V3 Base （ 671B ）为基础模型， 使 用 GRPO 算法作为 RL 框架来提升 Reasoning 便捷的部署、敏捷业务上线 DeepSeek-V3-671B DeepSeek-R1-671B DeepSeek-R1-Distill-Qwen-32B DeepSeek-R1-Distill-Qwen-1.5B （蒸馏后较原模型能力提升 10%+ ） BERT-Large Transformer ● 2 工程创新 新一轮百模千态 1 技术摸高 新一轮技术竞争 GPT-4/4o GPT-3/3 R1-Distill-Llama-70B - √ DeepSeek R1-Distill-Qwen-32B - √ DeepSeek R1-Distill-Llama-8B DeepSeek R1-Distill-Qwen-1.5B/7B/14B √ √ 配套版本上线昇腾社区： https://www.hiascend.com/software/modelzo o/models/detail/678bdeb4e1a64c9dae51d35

，在推理能力上表现出色。 • 阿里云百炼： 提供多个 DeepSeek 系列模型 ，如 DeepSeek - V3 、 DeepSeek - R1 - Distill - Qwen - 1.5B 等 ， 部分限时免费 ，涵盖文本生成等功能。 • 百度智能云： 千帆 Model Builder 全面支持 DeepSeek - R1/V3 调用 ，且限时免费 ，其模型在百科知 识、 数学推理等任务表现突出。 Distill-Ollama-7B DeepSeek-R1 - Ditill-Qwen-7B DeepSeek DeepSeek-R1 - Ditill-Qwen- 1.5B DeepSeek- V3 DeepSeek- R1 腾讯云部署流程 • Cloud Studio ：登录腾讯云官网 ，进入 Cloud Studio ，可一键部署 ，即开即用 ，能快速体验 DeepSeek - R1 蒸馏模型。 • 云原生构建：登录腾讯云 ，云原生构建相关服务 ，一键体验 DeepSeek ，无需等待下载 ，支持 1.5b/7b/8b/14b/32b 多款模型。 • TI 平台：登录腾讯云 TI 平台 ，提供专属算力、多种尺寸模型、 0 代码模型部署等功能。 • HAI ：登录腾讯云 HAI 控制台 ，新建

人工智能大模型算力估计 ■ 人工智能大模型算力估计 ■ 1, 数据量 ( D ) >15* 模型参数量 ( N ) ■ 万亿模型 (N )=1000*109=1012 ■ 数据量 (D )>15*1012 =1.5*1013 ■ 2, 计算次数 C≈ 6* N * D ■ 万亿模型计算次数 C≈ 6* N * D 1 ≈ .5*1025 Laws for Neural Language Models",2020 ■ 万亿大模型预训练系统成本估计 ■ 条件：计算量 C≈ 6 * N * D ≈1.5*1 025 ■ 最低时间、成本估计 ■ 单 H800(25 万 ):1.5*1010 秒 (174000 天 ) ■ 1000 张 H800(2.5 亿 ):1 .5*107 秒 (174 天 ) 算力 ( 每秒 ) 显存

民主化的中国方案 DeepSeek 通过两大创新让 AI 技术“飞入寻常百姓家”： 1.开源开放：代码和模型权重全部公开，学生也能用个人电脑跑 AI 2.知识蒸馏：把 70B 参数大模型压缩到 1.5B，手机都能运行专业级 AI 5.国际影响：技术出海的东方智慧 ⚫ 在东南亚、中东等地区，DeepSeek 成为数智主权建设工具，帮助发展中国家摆脱 对西方技术的依赖 ⚫ 开源策略吸引全球 技术普惠：让 AI 像水电一样触手可及 DeepSeek 通过两大革新打破技术壁垒： 1.白菜价训练：用 2000 块国产昇腾芯片就能训练专业模型，大学生也能参与 AI 开发 2.手机端运行：1.5B 压缩版模型在千元机上流畅运行，山区医生可用 AI 辅助诊断 三、安装与使用全攻略 1.多端部署指南：全平台无障碍接入 DeepSeek 提供网页版、APP、微信小程序、电脑版四大入口，满足不同场景需求：

..............................................................................................09 1.5 工业 AI 与工业大模型落地应用面临的挑战 ........................................................................ 等提供低成本解决方案。 尽管传统 AI 技术和大模型在解决各种工业问题方面，从理论上讲存在诸多明显优势，但是要将 AI 技术和大模型真正成功落 地应用，依然有很多具有挑战性的问题亟待解决。 1.5 工业 AI 与工业大模型落地应用 面临的挑战 第一，数据问题。 无论是传统工业 AI 技术，还是工业大模型的落地应用，数据都是首要问题。首先是数据的数量问题，如何从应用场景 中收集到大量的 企业 消费者 80 2 英特尔® 酷睿™ i3- 12300HE 处理器 8 4 4 12 12 MB 高达 4.3 高达 3.3 1.9 (@45W) 1.1 (@35W) 1.5 1.15 否 企业 C 消费者 英特尔® 超核芯 显卡 48 1 OPIO x8 Gen2 嵌入式 DisplayPort 1.4b LP4x/5 x10