PRM的潜力： ➢ PRM总归是一种比较稠密的监督信号，对reward进行shaping可以使训练更稳定或 收敛得更快 ➢ PRM还有探索空间，可以让模型收敛得更快速或更稳定 (Scaling曲线的斜率更大) ➢ 和自动形式化验证的结合，提供Rule-Based 之外辅助的Reward Signal, 指导更密集 的奖励优化，赋能长思维链安全的验证 44 技术对比讨论：Over-Thinking