摘要：一次失败的视觉—语言—动作（VLA）展开并不意味着所有动作都导致了失败。然而，在群体相对策略优化（GRPO）中，展开中的所有动作都会被赋予单一的轨迹级优势。这样一来，那些本可带来帮助的恢复尝试也可能与其试图纠正的错误一同受到惩罚。针对失败反馈的理想停止条件可通过成功概率与策略得分的鞅来刻画。在这些停止点上，基于保留信息的条件期望下，被移除的梯度贡献为零。因此，截断既能保持参考GRPO群体梯度估计量的期望值，又能降低其协方差。其中一种停止情形发生在条件成功概率为零时，这为选择候选反馈边界提供了误差与恢复线索的依据。本文提出了一种基于视觉—语言模型（VLM）的事件引导截断方法——鞅GRPO（MART-GRPO）。该VLM采用低秩适应（LoRA）技术，在我们标注的训练集上进行微调。在完整展开视频中，通过冻结的VLM定位最后一次可见但未观察到恢复的错误。失败反馈在选定的误差区间内予以保留，随后再行移除；同时，成功展开的损失项及原始损失归一化均得以保留。对于事后确定的边界，本文分析了期望与方差的变化，以评估与理想停止条件的偏离程度。在RoboTwin 2.0平台上使用OpenVLA-OFT开展的实验表明，MART-GRPO能够在多项任务上显著提升相较于全轨迹GRPO的成功率。
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值，并且只与同样秉持这些价值观的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。