技术剖析：DeepSeek-R1 Zero DeepSeek-R1 Zero: 无需监督微调SFT，纯强化学习驱动的强推理模型 DeepSeek-v3-Base (671B) DeepSeek-R1-Zero 基于规则的奖励 Rule-Based Reward 推理为中心的大规模强化学习 Large-Scale Reasoning-Oriented RL 大规模推理为中心的强化学习，提升模型数学代码能力 RL驱动下自然涌现长文本推理能力 技术剖析：DeepSeek-R1 Zero DeepSeek-R1 Zero: 无需监督微调SFT，纯强化学习驱动的强推理模型 ➢ 奖励建模：基于规则的奖励 (Rule-Based Reward) : 准确率奖励 + 格式奖励 ➢ 准确率奖励 Accuracy Rewards: 判断答案是否是正确的 ➢ 格式奖励Format Rewards: 规劝模型生成答案的过程是 和 ➢ 没有使用Reward model 需要大量的计算资源，可能会复杂化整个流程 ➢ 训练模板：选择最简单的 Thinking Process，直接观察到最直接的RL过程下的表现 基于规则的奖励 (Rule-Based Reward) : 准确率奖励 + 格式奖励 10 DeepSeek-R1 技术剖析：DeepSeek-R1 Zero DeepSeek-R1 Zero: 无需监督微调SFT，纯强化学习驱动的强推理模型

1000+GPU 月级别训练时间 GPT 3.0 、 DeepSeek 、 ,qwen 指令微调 1-100GPU 天级别训练时间 MOSS 、 ChatGLM6b 、 Vicuna-13B 等 奖励函数 1-100GPU 天级别训练时间 强化学习 1-100GPU 天级别训练时间 ChatGPT 、 Claude 数据集合 算法 模型 资源需求 3 、语言模型构建流 程 标注用户指令 号，是中山大学较为年轻的校区之 一。 3.2 、有监督微调阶 段 奖励建模（ Reward Modeling ） 阶段的目标是构建一个文本质量对比模型 ，对 于 同一个提示词， SFT 模型给出的多个不同输出结果的质量进行排序。奖励模型 （ RM 模型） 可以通过二分类模型 ，对输入的两个结果之间的优劣进行判断。 RM 模型与 3.3 、奖励建模阶 段 基础语言模型和 SFT 模型不同， RM 模型本身并不能单独提供给用户使用。 使得最终生成的文本可以获得更高的奖励（ Reward ） 。该阶段需要的计算量 相较预 训练阶段也少很多 ，通常仅需要数十块 GPU ，数天即可完成训练。 例如：机器人一开始并不知道如何保持平衡和移动 , 它会尝试不同的步伐、姿势和动作 （采取各种行动）。如果某一次尝试让它向前移动了一段距离并且没有摔倒，它就会 得到一个“奖励”信号（比如数值为正的奖励分数），意味着这个动作是朝着目标

预训 练 SFT RLH F 1 0 使用 PPO 针对奖励模型优化策略 采样一个新的问题 基于有监督策略初 始化 PPO 模型 输出策略生成答案 奖励模型计算输出 奖励 更新策略 第二步 收集比较数据并训练奖励模型 采样问题，模型输出 问题的多个回答 人工对多个答案进行 排序 使用排序比较数据训练 奖励模型 从问题数据集中抽取 问题 人工标注期望的答案

定义的智能体具有长期和短期记忆、自主规划、工具使用和自动执行任务 的能力，能提高工作效率和用户体验。另外，智能体也分为单智能体和多智能体。单智 能体通过试错学习在单一环境中行动，追求最大奖励，多用于简易任务。多智能体在博 弈环境中行动，追求长期累积奖励，多用于复杂测试。 1.1Agent 模式架构解析 Agent 有效减少人类工作总量，人与 AI 协作才是最终形态。人类与 AI 交互可大致 分为三种模式。Embedding 的强化学习原理是 基于马尔可夫决策来完成的，简单来说可以分为状态集 S、行动集 A、奖励 R，下一时 刻的状态和奖励只与上一时刻的行动有关，与更早之前的状态无关。其模型原理就是让 智能体用试错的方式来学习，若某个策略能得到奖赏，则智能体产生该行为的策略就会 加强。其目的就是在单一环境中行动，尽可能得到最大的奖励。应用领域目前也较为广 泛，例如赛车游戏中连续动作的训练：控制方向盘、油门、刹车等动作，可由 多智能体系统中会有两个以上的智能体，他们一般存在着合作或竞争关系。这样模型称 为马尔科夫博弈，其状态转换符合马尔可夫决策，关系符合博弈。在多智能体模型中， 每个智能体的目标是找到最优策略来使它在任意状态下获得最大的长期累积奖励。由于 其模型更为复杂，干扰因素较多等原因，目前多智能体模型商业化产品较少。 图3 单智能体强化学习原理图 资料来源：CSDN，海通证券研究所 图4 多智能体强化学习原理图

提出了一个交互式视频生成模 型, 通过构建可扩展的世界模型支持基于模型的智 能体进行探索、推理和规划. iVideoGPT 采用可扩 展的自回归 Transformer 框架, 能够将多模态信号 (包括视觉观察、动作和奖励) 集成到一个由标记组 成的序列中. 通过可扩展的架构, 作者在数百万人 类和机器人操控轨迹上预训练了 iVideoGPT, 使得 模型能够适应各种下游任务, 如条件视频预测、视 觉规划. 针对具身智能的视觉和语言导航 方法依赖于手动设计和调整任务奖励 函数以及模拟物理参数, 这一过程缓慢且耗费人力. 与之相对, DrEureka[45] 算法通过对目标任务的物理 模拟, 能自动构建合适的奖励函数和领域随机化分 12 自 动 化 学 报 51 卷 布 (Domain randomization), 这个过程分为三个阶 段: 首先, LLM 合成奖励函数; 其次, 基于扰动模拟 RoboCLIP[34] 提出了一种在线模仿学习方法, 该方法能够使用单 个视频演示或文本描述来生成奖励函数, 从而训练 强化学习代理执行机器人操作任务. RoboCLIP 的 核心思想是利用预训练的视频和语言模型来编码代 理行为的视频和任务描述, 然后通过计算它们在潜 在空间中的相似度得分来生成奖励. 这种方法避免 了手动设计复杂的奖励函数, 并且不需要大量的领 域内专家演示. RoboCLIP 的优势在于它只需要一

部分通证的25%。这些激励对象在获得通证后，可以设定一个比例X% ，并以SP形式持有其中X%的通证，而以SBD的形式持有其中（100- X）%的通证。 其中的15%将以SP的形式分配给所有的SP持有者，作为长期“持 股”的奖励，以及对通货膨胀的补偿。 其中的10%将以SP的形式分配给“见证人”，也就是区块的生产 者，用以弥补他们为生产区块所产生的硬件、电力等成本。 在一个以内容为主的社交网络中，维持用户活跃、创造优秀内 个问题。 第一，为了维持用户活跃，Steemit不仅对发文、点赞、评论等 活动都设置了相应的奖励，还通过不断增发的机制进行倒逼。持续 的增发会带来通货膨胀的压力。[1]因此，为了使自己手中的资产保 值增值，用户就会在网络中维持更高的活跃度。 第二，为了创造优秀内容，Steemit设置了精巧的奖励机制。在 Steemit上，发布内容是通证获取的重要来源。当一个用户发布内容 越多、质量越高时 纳入加密经济，让数字符号直接具备经济价值，但这两类通证 在加密经济中的作用是完全不同的。 同质化的通证大致分为两类。第一类，通证由算法决定如 何发行，背后没有资产储备或信用背书作为支撑，并被人为赋 予用途，比如用作区块奖励或手续费。比特币和以太币是此类 通证的代表。每种此类通证都对应着一个DAO。通证代表着参与 DAO的权益，但不构成DAO的负债。DAO中的经济活动使用通证作 为结算工具。DAO更接近于市场而非企业。衡量DAO发展的重要

）训练，跳过 SFT ，让模型通过自主试错和优化来学习， 减少对标注数据依赖，降低训练复杂度。 在实际应用中， R1 在数学和编程任务中表现优于 OpenAI o1 。 自适应调整 极简单的奖励规则，让大模型自我博弈、不断顿悟与自适应调整，实现深度思 考。比如， R1 会深入思考多种解题路径，评估优劣后选择数学难题的最优解， 这种能力使其在处理复杂任务时更加高效精准。 挖掘硬件潜力提高算力利用 数据信息高效处理 DeepSeek 的多头潜在注意力（ MLA ）机制通过对注意力机制中的键值进行压 缩实 现数据高效处理，这就好比仅通过阅读摘要就能快速了解长篇书籍的核心内 容。 奖励学习机制高度依赖 其他大模型对复杂神经网络奖励、监督学习以及学习 示例的高度依赖 逐个单词生成答复 信息冗余处理 传统模型计算注意力权重时，可能会对不重要信息分 配过多资源，导致信息冗余。 训练成本低 深度思考强

枢纽节点建设的若干激励政 策》 建设支持：奖励新建算力中心 ，发放“贵州算力券 ”， 打造算力高地。【申请 “贵州算力券” 800 万】 数据流通： 归集数据集 ，建设训练基地 ，奖励数据交 易 主体。 产业发展：培育产业生态 ，发展云服务 ，汇聚算力资源。 场景开放：推广典型案例 ，奖励优秀应用项目。 主体培育：打造产业链 ，奖励落户企业 ，落实税收优惠。 科技创新：支持创新平台建设

可以不时地得到一些名为SLP的游戏金币奖励。 如果你有两只以上的阿蟹宠物，你可以用它们配对繁殖下 一代，这会消耗一些游戏金币。如果你能培育出稀有的宠物， 你就可以在市场上卖个好价钱。 你也可以用三只阿蟹宠物组队，去跟别的玩家的阿蟹战队 对战。它的玩法很像我们熟悉的田忌赛马，进行三轮比赛，玩 家要精巧地安排战队、出战顺序。获胜者可以获得多种奖励， 你还有机会获得游戏官方定期举办的锦标赛的奖金。 如果你没有合适的宠物（和很多游戏一样，强大的宠物道 具很昂贵），你也可以去租用。比如，收益公会（Yield Guild，常被称为YGG）就提供了这种服务，这种服务有个特别 的名称——“奖学金”。玩家可以获得租来的宠物的奖励收益 的70%，社区里的服务者即社区经理获得20%，收益公会保留最 后的10%。 如果你喜欢玩游戏，这个游戏里面的玩法你不会太陌生。 在这个游戏世界中，当前的玩法是围绕阿蟹宠物的特性展开 刻，很多阿蟹宠物已经属于游戏玩家。当你进入游戏时，你可 以去向其他人购买宠物，价格是由市场供求关系决定的。 你的宠物在游戏中探险，你可以获得SLP这种游戏金币奖 励。你的宠物组队对战获胜，你也可以获得SLP游戏金币奖励。 当你决定要用两只宠物配对繁殖新一代宠物时，你就要消 耗SLP游戏金币。之前，每次繁殖消耗的金币较少，比如第一代 繁殖（两个宠物第一次繁殖）消耗150个SLP游戏金币，第二代 繁殖消耗300个，以此类推。

经理人绩效设计：月薪考 核、双月考核和年终奖励 考核； 2. 双月考核。按累计双月收 款进行双月考核，累计双 月完成收款发放或补发 放，目标任务参照下表； 2. 绩效考核（以下数据为举例） a) 月薪考核。每个月固定薪资收入，不用考核； b) 双月考核。按累计双月收款进行双月考核，累计双月完成收款发放或补发 放，目标任务参照下表； c) 年终奖励考核。  净收款 <95% 没有年终奖，