何时停止惩罚行为？用于VLA强化学习的鞅GRPO

arXiv：2610.32431v1 发布类型：新 摘要：一次失败的视觉—语言—动作（VLA）展开并不意味着所有动作都导致了失败。然而，在群体相对策略优化（GRPO）中，展开中的所有动作都会被赋予单一的轨迹级优势。这样一来，那些本可带来帮助的恢复尝试也可能与其试图纠正的错误一同受到惩罚。我们利用成功概率与策略得分的鞅理论，刻画了用于失败反馈的理想停止条件。在这些停止点上，基于保留信息的条件期望下，被移除的梯度贡献的条件期望为零。因此，截断操作既能保持参考GRPO群体梯度估计器的期望值，又能降低其协方差。其中一种停止情形发生在成功条件概率达到……时。