驱动下自然涌现长文本推理能力 基于规则的奖励 Rule-Based Reward 推理为中心的大规模强化学习 Large-Scale Reasoning-Oriented RL DeepSeek-R1-Zero DeepSeek-v3-Base (671B) 奖励建模： 基于规则的奖励 (Rule-Based Reward) : 准确率奖励 + 格式奖励 准确率奖励 Accuracy Rewards: Rewards: 判断答案是否是正确的 格式奖励 Format Rewards: 规劝模型生成答案的过程是 和 没有使用 Reward Model, 因为 ORM 和 PRM 等基于神经网络的都可能遭受 reward hacking 而 retraining reward model 需要大量的计算资源，可能会复杂化整个流程 训练模板： 选择最简单的 Thinking DeepSeek-R1 技术剖析： DeepSeek-R1 Zero 9 基于规则的奖励 (Rule-Based Reward) : 准确率奖励 + 格式奖 励 推理为中心大规模强化学习：组相对策略优化（ GRPO ） + 瞄准 Reasoning 推理任务 自我迭代提升 Self-Evolution ：

完成，其流程一般包括： 监督微调（SFT），即利用特定任务的标注数据对模型进行微调，使其学习任务模式；奖励模型（RM）训练，通过收集人类反馈数据训练 奖励模型，评估输出质量；以及强化学习（RL），利用奖励模型反馈优化模型，最终生成更符合人类偏好的输出等。由于代码、数学等领 域更适配模型评估与奖励反馈环节，推理模型在这些领域的深度思考能力更强，而在文学、医药、科研等领域，因存在大量实验数据和非 唯一 进行强化学习训练 • 准确性奖励：评估模型输出内 容是否正确 • 格式奖励：评估模型是否使用 标准化格式输出推理过程和最 终答案 DeepSeek V3 Base 第二阶段：训练DeepSeek R1 冷启动：由人类注释者和R1 Zero生成的高质量链式思考 数据进行双重验证，提升推理链的语义连贯性和可读性 推理为中心的强化学习训练：提升模型推理能力，同时引 入语言一致性奖励，减少语言混合问题

完成，其流程一般包括： 监督微调（SFT），即利用特定任务的标注数据对模型进行微调，使其学习任务模式；奖励模型（RM）训练，通过收集人类反馈数据训练 奖励模型，评估输出质量；以及强化学习（RL），利用奖励模型反馈优化模型，最终生成更符合人类偏好的输出等。由于代码、数学等领 域更适配模型评估与奖励反馈环节，推理模型在这些领域的深度思考能力更强，而在文学、医药、科研等领域，因存在大量实验数据和非 唯一 进行强化学习训练 • 准确性奖励：评估模型输出内 容是否正确 • 格式奖励：评估模型是否使用 标准化格式输出推理过程和最 终答案 DeepSeek V3 Base 第二阶段：训练DeepSeek R1 冷启动：由人类注释者和R1 Zero生成的高质量链式思考 数据进行双重验证，提升推理链的语义连贯性和可读性 推理为中心的强化学习训练：提升模型推理能力，同时引 入语言一致性奖励，减少语言混合问题

模仿学习也称为从示范中学习，是一种通过模仿专家行为来训练智能体学习策略的方法。模仿学习中，一种 广泛使用的方法是行为克隆（BC），将问题转化为监督学习问题。另一种方法是逆最优控制（IOC，也称为 逆强化学习），利用专家示范来学习奖励函数。 表1：模仿学习的两大算法类别 类别 简述 优势 挑战 行为克隆（BC） 在行为克隆中，通过最小化规划损失 来实现智能体策略与专家策略的匹配， 其中监督学习中的损失函数用于度量 智能体动作与专家动作之间的距离。 端神经网络从摄像头输入生成控制信 号（如方向盘转动、加速等）。为了 使基于BC的端到端驾驶模型能够应对 复杂的城市场景，业内提出了进一步 改进，如多传感器输入、辅助任务和 改进的专家设计。 简洁性和高效性，因为无须手工设计奖励函数。 协变量偏移。协变量偏差指的是在训练过程中模型 训练时所用的数据分布（例如，某些路况、驾驶场 景的频率）与实际部署时遇到的数据分布（例如， 实际道路的复杂性和多样性）不一致。对于一般的 模仿 为是 决定驾驶行为的关键因素，从而导致决策不准确）。 逆最优控制（IOC） 逆最优控制是一种从专家示范中学习 的算法，通过观察专家驾驶员的行为 来推测出一个“奖励函数”。这个奖 励函数可以理解为：专家做出的每一 个动作都有一个“奖励值”，这些奖 励值反映了每个行为的好坏。逆最优 控制的主要方法分为对抗模仿学习 （GAIL）与成本学习（Cost Learning）。 对抗模仿学习（GAIL）：不仅仅是模仿专家的行为，而是

劣势：学习到的行为策略受限于专家数据，对于未见 过的情况泛化能力较差 强化学习—— 智能体通过与环境的交互来学习最佳行为策略，以最大化 某种累积奖励。 • 优势：能够通过探索环境学习未知的策略；可以处理 高度不确定和动态变化的环境 • 劣势：需要大量的探索和试错，学习过程缓慢；对于 复杂任务，设计合适的奖励函数难度较高 数据采集技术路线 03 15 资料来源：量子位智库、浙商证券产业研究院 具身智能的数据采集可

缺。它们计算成本高昂，非确定性，并且可能缺乏可解 释性。但正如检索增强生成（RAG）可以为LLM提供基 础，代码和函数同样可以为代理提供基础，使它们更加 可解释，并增加对其的信任。对于现在使用代理的公司 ，确定奖励和强化正确代理结果的反馈循环。对于那些 采取更慢步骤的公司，现在就与行业合作伙伴合作，以 确定相关的高质量训练集或您最重要的专有数据，为当 您准备好开始时打下基础。 企业需要为新的技术范式——丰富 均利润翻倍。 75%的知识工作者 拥有雇主提供的生 成式AI工具 微软推出Microsoft 365 Cop ilot，称之为“地球上最强大 的生产力工具”。 121 一家主要公司启动了一 项计划，以奖励员工自 动化任务。 工会和建筑公司在欧洲就使 用人机团队达成协议 超过一半的《财富》500 强公司拥有自主的供应链 管理系统。 OpenAI推出GPT-3，该 模型具备编写代码等能 力。 120 方面拥有更多的“自主权”。每天都有新的任务和自动化 ，生成式人工智能可以发挥作用——但并非每个用例 都适合您的员工。企业需要问自己：这些自动化将让 人们做什么？赋予人们自主权来引导他们自己的AI使 用，并奖励成功的努力和想法，将鼓励他们想象和测 试想法。再次强调，学习循环将继续让人们能够专注 于以下方面： 广泛的知识被限制在他们特定的技能集或工作参数中， 而埃森哲人才脉搏调查发现，掌握技能的最大障碍是缺

增加技术债务的情况下进行创新。 激励大规模扩展。 赋能 IT 领导者，让他们向企业传达大规模扩 展 AI 所需技术架构的全部相关成本。量化采 取捷径的成本，以及开发可快速扩展的试点 项目所带来的业务价值。奖励那些全面考虑 AI 创新，或提出可限制产生未来技术债务的 项目团队，推动改变组织的行为经济学。 敏捷性架构。 建立一个神经中枢，专注于设计模块性和可 扩展性解决方案，并负责在最合适的环境中

在环境的不断交互中实现环境的重构映射、自主决策和自适应行动 1。 强化学习方法使得机器人的泛化操作能力大大提升。强化学习为 具身智能的突破性发展提供了理论基础，让机器人在与环境的交互 中，不断试错、学习和优化策略，并依据奖励策略不断优化动作执行 结果。然而，强化学习在面对新场景时存在迁移困境，对高质量训练 数据的要求较高，目前主流的改进方法有两种，一是通过模仿人类的 行为快速掌握新技能，比如丰田研究所开发的“大型行为模型”，机

人员数字素养和技能提升，为加快发展数字 经济提供强有力的人才支撑。 2022 年 6 月 12 日 上海市人民政府办公厅 《上海市数字经济发展“十四五”规划》 落实本市集成电路和软件产业研发设计人 员奖励政策，支持和鼓励基础软件、工业软 件、新型技术软件、信息安全软件等企业研 发设计人员在沪发展，用好应届毕业生和留 学生进沪就业以及外籍人才永久居留等相 第 6 页 关便利服务政策，加大力度引进数字经济领