요약: 비전-언어-행동(VLA) 롤아웃이 실패했다고 해서 모든 행동이 실패에 기여했다는 의미는 아니다. 그러나 그룹 상대 정책 최적화(GRPO)에서는 롤아웃 내 모든 행동에 대해 단일 궤적 수준의 이득이 부여된다. 이로 인해 잠재적으로 유용한 회복 시도가 바로잡으려는 오류와 함께 처벌받을 수 있다. 실패 피드백의 이상적인 중단 조건은 성공 확률과 정책 점수 마팅게일을 활용하여 규명된다. 이러한 중단 시점에서는, 유지된 정보를 조건으로 했을 때 제거된 그라디언트 기여의 조건부 기대값이 0이 된다. 따라서 절단은 기준 GRPO 그룹 그라디언트 추정량의 기대값을 보존하며, 그 공분산을 줄일 수 있다. 이러한 중단 지점 중 하나는 성공 조건부 확률이 0일 때 발생하며, 이는 후보 피드백 경계를 선택하기 위한 오류 및 회복 신호를 도출하는 데 동기를 부여한다. 마팅게일 GRPO(MART-GRPO)는 사건 기반 절단을 위해 비전-언어 모델(VLM)을 도입하여 구현된다. VLM은 저랭크 적응(LoRA)을 사용하여 우리의 주석 처리된 교육 데이터셋을 기반으로 미세조정된다. 관찰된 회복 없이 마지막으로 나타난 오류는 완전한 롤아웃 영상에서 고정된 VLM에 의해 위치가 식별된다. 실패 피드백은 선택된 오류 구간 동안 유지되고 이후에는 제거되며, 성공적인 롤아웃에 대한 손실 항목과 원래 손실 정규화는 그대로 유지된다. 사후적 경계 설정을 위해 기대값과 분산의 변화를 분석하여 이상적인 중단 상태로부터의 편차를 평가한다. RoboTwin 2.0에서 OpenVLA-OFT를 대상으로 한 실험 결과, MART-GRPO는 여러 작업에서 전체 궤적 GRPO에 비해 성공률을 향상시키는 것으로 나타났다.
제출 기록
Access Paper:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
구글 학술 검색
시멘틱 스콜라
북마크
기관
arXivLabs는 협업자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 협력하는 개인과 조직 모두는 개방성, 커뮤니티, 탁월성, 그리고 사용자 데이터 프라이버시라는 당사의 가치를 수용하고 이를 준수해 왔습니다. arXiv은 이러한 가치에 전념하며, 이들 가치를 준수하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.