πθ 和 πθold 分别表示当前策略模型和旧策略模型 ， q, o 是从问题数据集和旧策略 πθold 中 采样的输入和输出 , At 是基于广义优势估计（ GAE ）计算的优势值，依赖于奖励序列 {r≥t} 和 学 习的价值函数 Vψ 。因此， PPO 需要同时训练策略模型和价值函数。为避免奖励模型的过 度优化， 标准做法是在每个词元的奖励中添加与参考模型的 KL 惩罚项 DeepSeek-R1 22 From PPO to GRPO: PPO 的价值函数通常是与策略模型规模相当的独立模型，这带来了巨大的内存和计算负担。 奖励模型通常仅对输出序列的最后一个词元分配奖励，导致逐词元价值函数的训练复杂化。 GRPO ：无需像 PPO 额外近似价值函数，而是利用同一问题下多个采样输出的平均奖励作为基线。具 体而 言，对于每个问题 ， GRPO 并且难度分级明确， 这有利于实现类似课程学习的效果，逐步提高模 型的能力。 在奖励建模时，必须确保基于奖励模型的奖励机制不会被轻易攻陷。平衡推理长度与推理正确率之间 的关系。例如，针对一个序列中的下一个动作，若存在一个是错误答案而另一个是正确答案的情况， 传统的方法会倾向于提升选择正确答案的概率，同时降低选择错误答案的概率。然而，从推理长度的 角度来看，有时选择看似错误的

Planner类似， 也是与VLM主干网络共享相同的Transformer结构，但使用 两套独立的FFN和Q/K/V/O投影矩阵，它通过Denoising Process（去噪过程）逐步回归动作序列。 Action Expert 动作专家 通过ViLLA创新性架构，在五种不同复杂度任务上测试 GO - 1， 相比已有的最优模型，GO - 1成功率大幅领先，平均成功率提高 了32%(46%->78%)。其中“Pour 入与文本嵌入结合，形成一个丰富的多模态表示。 特征提取：通过对图像和文本的共同编码，模型能够提取出具有高度相关性的特征。在策略训练过程中，任务的文本描述和可能的多张图像 会以对话格式传递给VLM，从而获得形状为（批量大小 × 序列长度 × 隐藏维度）的多模态特征。 英伟达通用机器人大模型 GR00T N1 04 23 资料来源：英伟达官网、CSDN，浙商证券产业研究院 DiT模块负责处理机器人的状态和动作生成。它采用

机器人能够从数据中学习决策与 规划策略，基础模型为机器人决 策与规划引入了丰富的先验知识。 感知、交互与决策 大模型在控制上的助力主要集中于大模型处理环境观察与提示，输出动作序 列，动作序列可以是一系列关节角度或末端执行器的位姿与夹爪开合数据， 这些序列将直接用于控制机器人的运动。 控制 需求级 任务级 理解需求 分解需求 完成任务 分解任务 运动规划 路径规划 生成末端执行器坐标/关节角 控制率 轨迹插值和调节增益

正在不断提 升大规模智算训练效率。在硬件方面，高性能 GPU、专用 AI 芯片、 高速互联网络、大容量高速存储等技术，实现了大规模的算力供给， 为处理复杂、不规则的计算任务（如自然语言处理的长序列数据、计 算机视觉的多尺度图像特征）创造了条件；在软件方面，分布式训练 框架、预训练大模型、多模态数据处理等技术也通过精细化算力管理 提升了大模型的训练和推理速度，为机器人的大规模应用提供了基础 融合“大脑”和“小脑”功能，通过统一的神经网络，直接将任务目 10 标转化为控制信号。比如特斯拉的 Optimus 机器人能通过搭载的 2D 摄像头以及集成的触觉和压力感应器所收集的信息，直接生成用于驱 动关节的指令序列，能完成分拣、放置、叠衣服等任务；谷歌的 VLA （视觉-语言-动作模型），通过对 VLM（视觉-语言模型）进行预训 练，然后在具体的机器人任务上进行微调，结合视觉和动作数据，能 够将图像直接

未来所有科学研究都将以AI为中心 过去如何做蛋白质研究 AlphaFold 1. X射线晶体衍射 2. 核磁共振 3. 冷冻电子显微镜 1. 利用Transformer的预测能力， 2. 直接从蛋白质的氨基酸序列 3. 中预测蛋白质的3D结构 靠肉眼观察，几年才能发现一个复杂蛋 白质结构，半个世纪预测了20多万种 从数年缩短到几分钟，解开了生物学密码 成功预测了地球存在的2亿种蛋白质结构 45 政企、创业者必读

.8 图表 6 2024 年 1-9 月通过第三类医疗器械注册准入的医疗 AI 产品（下）...........9 图表 7 PV-iDose 支持不同 TPS 计划剂量分析、叠加、不同影像序列的剂量叠加15 图表 8 人工智能在放疗领域中的扩展应用（上）.......................................................... 15 图表 AI 模型，可通过当天的治疗影像预测与分析治疗剂量，快速跟踪治疗过程中患者 受剂量的情况，提供剂量维度的分析结果。 15 图表 7 PV-iDose 支持不同 TPS 计划剂量分析、叠加、不同影像序列的剂量叠加 资料来源：柏视医疗 其中，该系统的核心技术是使用 CBCT 影像通过 AI 生成高质量的合成 CT 影像，基于此 影像在线生成单次治疗高精度靶区和器官轮廓，预测单次照射的剂量，以及评估多个分

“VLM+MoE 混合专家”体系。“⼤脑”由 InternVL-2B（多模态感知）与 Latent Planner（任 务规划）组成；“⼩脑”为 Action Expert，将规划转化为精细动作序列，三者形成“感知 →规划→执⾏”闭环。灵初智能 2025 年 4 ⽉推出强化学习 Psi-R1，采⽤“快慢脑”分层架 构。“⼤脑”（慢脑 S2）基于 Causal VLM 负责推理规划；“⼩脑”（快脑

路径规划方面，通常是大语言模型（LLM）、 视觉-语言多模态大模型 （VLM）、视觉导航模型（ VNM）三个大模型相结合，人形机器人在用 视觉导航模型（VNM）采集环境数据后，利用大语言模型（LLM）解析 为地标文本序列，然后基于视觉-语言多模态大模型（VLM）比对到对 应目标，最后用视觉导航模型（VNM）完成规划。基于任务理解，大模 型能自主生成执行任务的运动控制代码，为运控模块提供运行的指令， 以驱动机器人运动。大模型和 标准。 运动控制模块：包括运动控制的上肢运动、下肢运动和全身协调 控制等功能模块的硬件设计、软件、算法及技术相关标准。 66 作业操作模块：包括作业操作的灵巧操作、双臂操作、移动作业、 长序列执行、多机协同和操作避障等功能模块的硬件设计、软件、算 法及技术相关标准。 人机交互模块：包括人机交互的遥控操作、多模态交互、脑机交 互等功能模块的硬件设计、软件、算法及技术相关标准。 定位

从基于单图分析的 HydraNet 网络架 构迭代至BEV+Transformer架构。特斯拉在HydraNet架构中引入Transformer构建BEV，同时增加基于时间的序列 （feature queue）和基于空间的序列（video Module）总成拼接感知模块完整的架构，很好地应对了相对复杂 非结构道路的识别问题。同年，FSD规划模块引入基于神经网络的规划模块和蒙特卡洛树搜索，实现了规划模块

掘了客户需求，在需求侧未提出要求情况下创造新场景 需求 各家积极发展结合强化学习、思维链的“后训练“，推出深度推理模型。在效率优 化方面，稀疏注意力、线性注意力等相关机制可大幅降低内存和计算成本。 正朝着处理更长序列、更大规模数据和实时应用场景的方向发展，新型高效注意力 算法和硬件协同优化可能成为重要突破口。 扩散模型在视觉效果和多样性上表现优异，但计算成本较 高；GAN可能存在训练不稳定和模式崩溃的问题，但在一