。具体而 言，对于每个问题 ，GRPO从旧策略𝜋𝜃𝑜𝑙𝑑中采样一组输出，并通过最大化以下目标优化策略模型： ➢ 通过群组相对方式计算优势值，与奖励模型的对比性质（通常基于同一问题的输出比较训练）天然 契合；此外，GRPO直接将策略模型与参考模型的KL散度作为正则项加入损失函数，而非将其混入 奖励计算，简化了优势值的计算。 DeepSeekMath https://arxiv.org/pdf/2402 Comparison Takeaways ➢ GRPO ：利用同一问题下多个采样输出的平均奖励作为基线，从而无需额外近似价值函数。这种机制 通过群组相对方式计算优势值，与奖励模型基于同一问题的输出比较训练的特性天然契合。此外， GRPO直接将策略模型与参考模型的KL散度作为正则项加入损失函数，而非将其混入奖励计算，简化 了优势值的计算过程。这使得GRPO在大规模强化学习任务中，特别是在处理复杂的推理任务时，能 现非常突出。这很大程度得益于R1模型足够强大，发 现了很多高阶推理范式，而这些高阶推理范式是小模型直接利用大规模强化学习难以发现的（可以认为是由 于预训练知识不足），因此这些蒸馏得到的小模型表现比较突出，甚至超过了基于大规模RL的方法。 38 技术对比讨论：蒸馏 vs 强化学习 ➢ 在提升模型强推理能力的努力上，蒸馏和强化学习被社区广泛探索 ➢ 直接利用SFT蒸馏可以学习到数据中的推理范

练。 这种训练过程涉及海量的数据运算，对 CPU、GPU 或 NPU 等加速计算硬件提出了极高的要求。 第四，模型应用准确性问题。 工业大模型在实际应用中的准确度尚不尽人意。目前 大模型比较擅长知识问答、文档生成、数据分析等场 景应用，但在面向实际工程的代码生成能力仍有很大 提升空间，尤其在实用算法、科学计算和数据结构等 领域能力偏弱。另外，针对缺陷样本极少的工业质检 应用场景，工业大模型基于真实缺陷图生成仿真缺陷 工具套件，可提供优化的性能，同时帮助开发人员对常见用例进行 AI 模型预训练，从而加快上市时间。 2.1.1 第 12 代英特尔® 酷睿™ 移动处理器 性能测量结果基于同 第 11 代英特尔® 酷睿™ 处理器的比较 1 1.07 倍 单线程 性能提升 1 高达 1.29 倍 多线程 性能提升 1 高达 2.47 倍 显卡 性能提升 1 高达 2.77 倍 GPU 图像分类推理 酷睿™ Ultra 处理器 能效 1.5 倍 AI 性能提升 人工智能 高达 与上一代产品比较1 2.56 倍 每瓦 AI 性能提升 高达 与上一代产品比较1 图形处理 1.81 倍 图形处理性能提升 高达 与上一代产品比较1 采用高能效 BGA 封装，以先进的 AI 和图形处理性能， 助力部署边缘解决方案 即使在空间和功耗受限的环境中，也能快速轻松地在边缘部