AI 자동 번역
arXiv:2610.33014v1 발표 유형: 신규
요약: 협상 어시스턴트는 상대방의 반응을 정확히 예측하지 않더라도 좋은 거래를 성사시킬 수 있다. 우리는 사회적 세계 모델에 대한 평가들이 이러한 예측을 직접적으로 검증하는지 여부를 묻는다. 1999년부터 2026년까지 발표된 113편의 연구를 검토하였다. 그중 9편의 주요 평가는 시스템이나 실험자가 선택한 행동에 대해 실제 사람의 반응을 측정한다. 이들 중 단 2편만이 명시적인 반응 예측과 실제 반응을 비교한다. 해당 연구들의 예측 모델은 행동이 선택될 당시 이용 가능한 정보를 사용하며, 평가 대상 반응은 모델 학습 과정에서 제외된다; 또한 두 연구 모두 개입 조건을 무작위화한다. 언어모델 관련 연구 25편에 대한 별도의 전문 텍스트 검토 결과, 이러한 조건을 충족하는 실험은 발견되지 않았다. 나머지 평가들은 현재 상태 추론, 과제 성공 여부, 또는 기록된 행동에 기반한 예측을 검증한다. 우리는 이러한 질문들을 분리할 수 있는 1단계 협상 실험을 제안한다. 본 연구의 결과는 검토된 표본에 관한 것이며, 해당 분야 전반에 걸친 이러한 평가 격차의 보편성에 대해서는 다루지 않는다.