DeepSeek-R1 \ Kimi 1.5 及 类强推理模型开发解读 陈博远 北京大学 2022 级“通班” 主要研究方向：大语言模型对齐与可扩展监督 https://cby-pku.github.io/ https://pair-lab.com/ 北大对齐小组 DeepSeek-R1 开创 RL 加持下强推理慢思考范式新边界 DeepSeek-R1 Zero 及 R1 技术剖析 RL 驱动下自然涌现 Long-CoT 能力 传统 RLHF 背景下， SFT 通常被认为是不可或缺的一步，其逻辑先用大量人工标注的数据来让 模型 初步掌握某种能力（如对话或者语言风格），然后再用 RL 来进一步优化性能 DeepSeek-R1 系列跳过对于大规模人工标注数据的依赖 无需构建和维护高质量的 SFT 数据集，而是让模型直接在 RL 环境中进行探索 https://newsletter.languagemodels.co/p/the-illustrated-deepseek-r1 DeepSeek-R1 Zero 的问题： 长推理过程可读性差、语言混合，帮助性低 Research Questions: 能否在 Zero 基础上兼顾推理性能的同时，提升模型的帮助性和安全性？例如产生 Clear & Coherent CoT

基础设施建设，并因地制宜出台特色政策。尽管GDP增速放缓，AI技术作为新质生产力，凭借 其在提升效率和推动产业升级方面的优势，展现出广阔发展前景，政府支持也为其提供了强劲 动能。资本市场持续关注AI，投资重点聚焦于语言与多模态模型应用、芯片、算力服务等领域， 基础层与应用层协同发展，不断完善产业生态。社会层面，生成式AI的普及加速了市场教育， 公 众 接 受 度 显 著 提 升 ， 但 就 业 替 代 、 隐 私 4 目 录 CONTENTS 01 中国大模型产业宏观环境 政策、经济、社会、技术 02 中国大模型产业价值总览 基础层、模型层、应用层 03 中国大模型产业商业进程 语音、视觉、语言及多模态产品 04 中国大模型产业实践案例 典型产品、标杆厂商 05 中国大模型产业发展趋势 产业机遇、关键挑战 5 中国人工智能产业宏观环境 —— 当下，中国人工智能产业 在经济、政策、认知、技术维度的发展环境如何？ www.iresearch.com.cn 中国人工智能产业资本环境 语言及多模态赛道目前最受瞩目，同时基础层厂商积极入局 来源：艾瑞咨询研究院自主研究绘制。 从投资轮次的分布情况着眼，战略及股权投资的数量及占比均呈现出显著的上升态势，其中股权投资事件占比高达77.9%。而在应用赛道 的投资分布方面，语言及多模态赛道目前已成为最受瞩目的投资领域。与此同时，以AI芯片、AI算力解决方案、算法架构等为代表的基础

基础设施建设，并因地制宜出台特色政策。尽管GDP增速放缓，AI技术作为新质生产力，凭借 其在提升效率和推动产业升级方面的优势，展现出广阔发展前景，政府支持也为其提供了强劲 动能。资本市场持续关注AI，投资重点聚焦于语言与多模态模型应用、芯片、算力服务等领域， 基础层与应用层协同发展，不断完善产业生态。社会层面，生成式AI的普及加速了市场教育， 公 众 接 受 度 显 著 提 升 ， 但 就 业 替 代 、 隐 私 4 目 录 CONTENTS 01 中国大模型产业宏观环境 政策、经济、社会、技术 02 中国大模型产业价值总览 基础层、模型层、应用层 03 中国大模型产业商业进程 语音、视觉、语言及多模态产品 04 中国大模型产业实践案例 典型产品、标杆厂商 05 中国大模型产业发展趋势 产业机遇、关键挑战 5 中国人工智能产业宏观环境 —— 当下，中国人工智能产业 在经济、政策、认知、技术维度的发展环境如何？ www.iresearch.com.cn 中国人工智能产业资本环境 语言及多模态赛道目前最受瞩目，同时基础层厂商积极入局 来源：艾瑞咨询研究院自主研究绘制。 从投资轮次的分布情况着眼，战略及股权投资的数量及占比均呈现出显著的上升态势，其中股权投资事件占比高达77.9%。而在应用赛道 的投资分布方面，语言及多模态赛道目前已成为最受瞩目的投资领域。与此同时，以AI芯片、AI算力解决方案、算法架构等为代表的基础

大模型相关术语 l 多模态 Ø 文本、图片、音频、视频 l AI工具（国内） Ø DeepSeek、 豆包、Kimi、腾讯元宝、智谱清言、 通义千问、秘塔搜索、微信搜索... l 通用模型 Ø 大语言模型（LLM，Large Language Model） Ø 视觉模型（图片、视频） Ø 音频模型 Ø 多模态模型 Ø …… l 行业模型（垂直模型、垂类模型） Ø 教育、医疗、金融等 •Transformer架构：可以并行矩阵计算（GPU），核心是注意力机制（Attention） •编码器（BERT）：多数embedding模型，Ernie早期版本，……. •混合网络：T5、GLM •解码器（GPT）：大语言模型（LLM），也是传统的多模态模型的核心 •生成式人工智能（GenAI）：AIGC •DeepSeek、Qwen、GLM、Step、MiniMax、hunyuan、kimi、…… •OpenAI •OpenAI GPT（ChatGPT）、Claude、Llama、Grok、…… •Diffusion架构：主要用于视觉模型（比如Stable Diffusion、DALLE），现在也开始尝试用于语言模型 •Diffusion+Transformer架构：例如Sora的DiT（加入Diffusion的视觉模型），部分新的多模态模型架构 大模型的发展阶段 生成模型 ref:中文大模型基准测评2024年度报告(2025

大脑半球，二者由神经纤维构成的胼胝体相连。脑干又可分为中脑、脑桥及延髓三部分。 部位 位置 功能 大脑 又称为端脑，位 于脑的最上部， 占人脑总体积的 约85%，分为左 右两个半球 高级认知：负责思维、记忆、语言、决策、情感灯 复杂功能 感觉与运动：处理视觉、听觉、触觉等信息、并控 制自主运动 小脑 位于大脑后下方， 紧贴脑干后方， 形似蝴蝶。 运动协调：调节肌肉张力、协调精细动作（如鞋子、 弹琴） 平衡与姿势：帮助维持圣体平衡与空间定位 驱动及算法监控部件的各类状态，保证机器人部件的基本运作能力。（2）传递信息的线束及网关，起到各个控制器，传感器信息交互通联的 作用。 部位 在人体中功能 在人形机器人中功能 机器人对应硬件 大脑 高级认知：负责思维、记忆、语言、决策、情感灯复杂功 能 感觉与运动：处理视觉、听觉、触觉等信息、并控制自主 运动 语义理解、环境信息理解、动 作决策等 目前为机器人中央控制器担任此角色， 但目前并未获得相应能力。后续可能 在此基础上进一步增加硬件及算力 但对于高级认知，信息处理能力尚未建立。展望未来，机器人大小脑有望实现分离，大脑算力进一步加强，小脑专注运动控制。 部位 在人体中功能 在人形机器人中功能 机器人对应硬件 大脑 高级认知：负责思维、记忆、语言、决策、情感灯复杂功 能 感觉与运动：处理视觉、听觉、触觉等信息、并控制自主 运动 语义理解、环境信息理解、动 作决策等 目前为机器人中央控制器担任此角色， 但目前并未获得相应能力。后续可能 在此基础上进一步增加硬件及算力

第34-46页 第4-8页 01 双星大爆炸 02 你的面孔，在未来 04 新的学习循环 在不同界面看似相同的情况下进行差异 化。 人们与人工智能如何定义一个学习、领 导和创造的正向循环。 03 当大型语言模型 出现时 他们的身体 当人工智能呈指数级扩展时，系统 将会被打乱。 如何基础模型重新定义机 器人学 信任是否是人工智能无 限可能性的极限？ 引言 人工智能：自主 宣言 从卡斯帕罗夫的比赛以来，几乎已经过去了30年，而现 在能够使Deep Blue看起来像是一个普通玩家的模型都 坐在每个人的口袋里。图灵测试，曾经被认为是机器智 能的最高标准，现在每天都被人们与大型语言模型（LL M）支持的客户服务机器人和销售人员交流中所打破。 今天的AI模型已经摆脱了过去深度但具体且线性的方法 ，并展示了前所未有的自主性—在他们如何学习、如何 处理任务以及最终能够做什么方面。他们将这种自主性 行业 这可能看起来像是行业内公司之间的通用框架和 通信协议，或者是编码界定行业大挑战的引擎——这 些模型将有助于我们增长对物理学、遗传学、运动等 方面理解。并且对于 国家 和 政府 它汇集了独特的知识、语言、文化、法 律和安全，以帮助行业、公司和公民参与。关键的是 ，这些认知数字大脑不会在孤岛中运作。当它们开始 在不同层面互动时，它们将创造一股上升的智能浪潮 ，提升所有参与方的能力。 认知数字大脑将

进一步推动了算力需求的激增。当前，软硬件协同的方法正在不断提 升大规模智算训练效率。在硬件方面，高性能 GPU、专用 AI 芯片、 高速互联网络、大容量高速存储等技术，实现了大规模的算力供给， 为处理复杂、不规则的计算任务（如自然语言处理的长序列数据、计 算机视觉的多尺度图像特征）创造了条件；在软件方面，分布式训练 框架、预训练大模型、多模态数据处理等技术也通过精细化算力管理 提升了大模型的训练和推理速度，为机器人的大规模应用提供了基础 在工业领域，机器人的规模化应用正在从中度智能向高度智能过 渡。随着深度学习算法的优化以及多模态感知技术的融合，工业机器 人将具备更强大的感知、认知和决策能力，能够更加精准地识别复杂 环境中的物体、声音和图像，理解人类的语言和意图。同时，工业机 器人将具备更强的自主学习能力，能够根据环境变化和任务需求进行 自我调整和优化。从模型架构来看，结构相对简单、参数较少的机器 学习模型正在转化为多层级、大参数量的深度学习、强化学习模型， 机器视觉技术的识别类模型应用比较成熟，在机器人的操作取物、移 动避障等各类功能中应用广泛，部分企业甚至开始了针对表面缺陷、 产品特征识别、安全巡检等难度较高任务的深度学习探索；基于语音 交互技术的语言类模型虽然较为成熟，但是主要用于陪伴对话、教育 辅导、智能家居等服务型场景，而由于可靠性要求高、工业知识积累 6 不足等限制，尚未在工业中大规模应用。在推理决策方面，基于深度 学习、强化学习

行动，最终迭代输出数字化模型。通过构建场地、终端、人 员、操作四类实体的数字模型，对真实网点进行仿真孪生。 基于数字网点，开通客户线上通道，客户即可进入虚拟 网点，虚拟网点通过语音识别、自然语言处理、视频图像分 析等技术，融合业务建模、深度学习、大数据分析等手段， 对业务办理、客户服务过程中产生的图片、语音、视频等非 结构化数据进行深度信息挖掘与分析，构建可以与客户完美 互动的虚拟网点环境（见图2）。 提供优质的远程服务，客户无需出门即可办理各项业务。通 19 过视频通话、文件传输等功能，数字人可以与客户进行实时 互动，确保服务的连续性和安全性。 （3） 多语言及无障碍服务 在全球化的今天，数字人通过配备多语言处理能力，可 以为不同国家和地区的客户提供消除语言障碍的定制化服 务；同时，数字人可为听力障碍客户提供手语服务，为视觉 障碍客户提供语音识别反馈服务，实现无障碍金融服务，确 保所有客户能够得到无差别的金融服务体验。 身可基于人体扫描或手工建模的方式获取数字人所需的人 体形状和外观信息，设定文本驱动、视频驱动、语音驱动等 多种驱动方式，结合音视频通讯技术，通过渲染引擎合成显 示数字人。 在交互能力方面，通过语音识别技术，结合大语言模型， 进行语音合成、多轮对话等生成，同时，支持文本、语音、 图像等多模态信息人机交互方式。 在应用实现方面，针对交互式数字人和播报式数字人， 需要区分不同的应用架构。在部署设计中，需要考虑高可用、

器。因此，应用可以使用相同（或相似）的消息有效负载与通过Wi-Fi、Thread、卫星或蜂 窝网络连接的IoT设备进行通信。基于IP的通信链路是实现设备连接标准化的首要条件。第 二个条件是一个应用层—同一种通用语言—同一种设备语言，用于IP网络上传输的消息有效 负载内容的标准化。 应用层安全和隐私 应用层可在任何IP网络上实现安全、私密的端到端通信。由于网络流量很容易被“窃听”， 所以应用层需要额外 览器一样，采用了 HTTPS和TLS协议。不过，IoT应用层会运用专门的技术来验证设备和应用的真实性，并管理 操作凭证。 应用层语义 除了提供网络安全保障外，应用层还拥有同一种通用语言——同一种数据模型，用于定义特 定应用领域内应用与设备之间的通信方式。对于消费类应用而言，像“打开灯”这样的指令 以及“温度为82度”这样的传感器读数对于每个应用和设备来说都应该具有相同的含义。 有两个独特的组成部分： 1. 安全和隐私——用于确保设备可信、管理安全的设备连接，以及对所有消息进行端 到端加密的方法 2. 语义（数据模型）——一种在该fabric上实现高效设备通信的通用语言 Matter是一种虚拟的设备连接延伸——构建于基于物理IP的网络之上的fabric。Matter协 议对网络节点进行身份验证和授权，创建并管理安全fabric，同时定义在该fabric内传输的

化升级、供应链不确定性加剧，叠加气候与资源约束，传统生 产模式和增长逻辑面临前所未有的挑战。 与此同时，以人工智能为核心的新一代数字技术，正穿透从田 间到餐桌的全产业链条，为行业打开效率跃迁与价值重塑的想 象空间。以大语言模型为代表的生成式AI技术取得了突破性进 展，从最初简单的文本生成，到如今能够生成高质量的图像、 音频、视频等多模态内容，其应用范围不断拓展，潜力也愈发 凸显。如何借助AI技术实现转型升级，已成为食品饮料行业发 的、本土化的落地指南。我们深知，在AI转型的道路上，企业 面临着诸多困惑和难题，需要有一份具有针对性和可操作性的 经验总结来引领方向。 第一章深入洞察了食品饮料行业的变化趋势，并简述了AI技术 的演变路径、大语言模型的技术原理，以及现阶段应用大模型 技术的主流路径，和未来通用人工智能的趋势。第二章遴选了 食品饮料行业的典型十大场景，用具体案例，详细描述了需求 场景、解决路径、应用成果和经验反思，为行业企业实践提供 遇到的问题 企业知识碎片化 需要一套领域专家知识库和智能问 答系统，实现企业级知识沉淀 查找资料过程繁琐 养殖员日常工作需要翻阅大量资料 解决操作问题，人工查找过程繁 琐，期望使用自然语言描述自己遇 到的问题 问题回答准确率 90% 奶牛养殖企业级知识库 降低学习成本 提升工作效率 简单快速地搜索相关养殖知识， 高效处理实际遇到的各类问题 赋能养殖员高效、快速学习大量