2026년 10월 24일, ‘Joint or Per-Option? Compact Encoders for Closed-Set Decisions from 17 Million to 1 Billion Parameters’라는 제목의 논문이 arXiv 플랫폼에 처음 게재되었으며(논문 번호: arXiv:2610.30970v1), 언어 모델 파이프라인의 최종 단계에서 발생하는 닫힌 집합 결정 과제(예: 도구 선택)에 초점을 맞추어, 최소한의 매개변수 수로도 효율적이고 강인한 결정용 인코더를 구현하는 방법을 탐구합니다. 또한 두 가지 입력 처리 패러다임, 즉 모든 옵션을 동시에 통합하여 평가하는 ‘공동 스코어링(joint scoring)’과 각 옵션을 개별적으로 독립적으로 평가하는 ‘옵션별 스코어링(per-option scoring)’을 핵심적으로 비교합니다.
3,200만 파라미터 규모의 세 가지 랜덤 시드 실험에서, 옵션별 점수 매기기는 37개의 벤치마크로 구성된 의사결정 키트를 대상으로 ‘기회 보정 스킬’(chance-corrected skill) 지표를 기준으로 평가한 결과, 연합 점수 매기기보다 최적화기 단계 수를 맞춘 경우 5.8점, 학습 계산량을 근사적으로 맞춘 경우 2.8점 더 높은 성과를 보였다. 두 개의 외부 벤치마크에서도 결과 추세는 일치했으나, 해당 벤치마크에 포함되지 않은 과제에서는 차이가 통계적으로 유의미하지 않았다. 연구는 또한 이러한 우위가 재순서화기(reranker)의 초기화 방식에 의존하며, 입력 형식(query-candidate pair)이 옵션별 읽기와 자연스럽게 맞아떨어진다는 점을 지적했다. 반면 원래 인코더 출력만을 사용할 경우에는 두 종류의 리더 모두 동일한 성능을 나타냈다.
각 옵션 방식은 정확도에서 우위를 보이지만, 인코더의 전방 전파를 5~13배 더 수행해야 하므로 중앙값 지연 시간은 최대 두 배로 늘어나고 평균 지연 시간은 4배를 초과합니다. 이에 비해, 발표된 여섯 가지 연합 인코더(매개변수 수는 1,700만에서 10억까지) 가운데, 6,800만 및 1억 5천만 매개변수 모델은 중복 검증을 거친 System1-Arena 과제 209개에서 각각 4억 3,500만 매개변수 DeBERTa-v3 제로샷 분류기보다 정확도가 4.9%포인트와 5.9%포인트 높았으며, 학습되지 않은 과제 145개에서도 최소한 동등한 성능을 보였습니다. 가장 작은 1,700만 매개변수 연합 모델은 16스레드 프로세서에서 중앙값 응답 지연 시간이 단 14밀리초에 불과해, DeBERTa-v3의 728밀리초에 비해 훨씬 짧습니다.
또한 연합 인코더는 옵션 순서에 민감하며, 옵션의 순서를 바꾸면 예측 결과의 12%~23%가 변경되는 반면, 옵션을 하나씩 평가하는 방식에는 전혀 영향을 미치지 않습니다. 공개 리더보드의 비공개 테스트 세트(주로 분포 내 작업)에서, 파라미터 수가 6,800만 개를 넘지 않는 연합 인코더는 해당 규모 범위 내에서 선도적인 성능을 보였습니다. 모든 결론은 논문에서 보고된 실험 설정과 벤치마크를 기반으로 하며, 테스트되지 않은 파라미터 규모나 공개되지 않은 작업 분포로는 확장되지 않습니다.