要旨：視覚・言語・行動（VLA）のロールアウトが失敗したからといって、すべての行動が失敗の原因であるとは限らない。しかし、グループ相対方策最適化（GRPO）では、ロールアウト全体における1つの軌道レベルの優位性がすべての行動に割り当てられるため、本来は有用な回復の試みまで、それが是正しようとする誤差とともにペナルティの対象となってしまうことがある。失敗フィードバックの理想的な停止条件は、成功確率マーティンゲールおよび方策スコアマーティンゲールを用いて定式化される。これらの停止点において、除去された勾配寄与は、保持された情報条件下で条件付き期待値がゼロとなる。したがって、打ち切りによって参照となるGRPOのグループ勾配推定量の期待値は維持され、その共分散も低減できる。こうした停止点の一つは、成功の条件付き確率がゼロとなった場合であり、これにより候補となるフィードバック境界を選定するためのエラーおよび回復の手がかりが導かれる。さらに、イベント駆動型打ち切りを実現するための視覚・言語モデル（VLM）を用いたマーティンゲールGRPO（MART-GRPO）を提案する。本VLMは、低ランク適応（LoRA）を用いて当社が注釈付けた学習データセット上で微調整される。完全なロールアウト映像において、観測された回復が見られない最後の可視的エラーは、凍結されたVLMによって局所化される。選択されたエラー区間内では失敗フィードバックが保持され、その後に除去される一方で、成功ロールアウトに係る損失項および元の損失正規化は維持される。遡及的な境界については、期待値と分散の変化を分析し、理想的な停止からの逸脱を評価する。RoboTwin 2.0上でOpenVLA-OFTを用いた実験では、MART-GRPOが複数のタスクにわたり、全軌道GRPOに比べて成功率を向上させることが示された。
提出履歴
Paperへのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
オーディオ要約
現在の閲覧コンテキスト：
参考文献および引用
Google Scholar
セマンティック・スカラー
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsと協働する個人および組織は、いずれも当社の価値観であるオープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーを尊重し、受け入れています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。