2026年10月24日、arXivプラットフォームにおいて『Joint or Per-Option? Compact Encoders for Closed-Set Decisions from 17 Million to 1 Billion Parameters』という題名の論文が初掲載されました（ID: arXiv:2610.30970v1）。本論文は、言語モデルのパイプライン末端における閉集合型意思決定タスク（例：ツール選択）に焦点を当て、最小限のパラメータ数で効率的かつロバストな意思決定エンコーダを実現する方法を検討しています。また、中心的な比較対象として、すべての選択肢を一括して処理する「ジョイントスコアリング」と、各選択肢を個別に評価する「パーポジションスコアリング」の二つの入力処理パラダイムを考察しています。
3,200万パラメータ規模の三つのランダムシードによる実験において、逐項目スコアリングは37のベンチマークから構成される意思決定スイート上で、「チャンス補正スキル」（chance-corrected skill）を指標として、統合スコアリングに比べて5.8ポイント（最適化手法のステップ数を揃えた場合）および2.8ポイント（学習計算量をほぼ同等にした場合）上回った。二つの外部ベンチマークでも結果の傾向は一致していたが、それらで見られないタスクについては差が統計的に有意ではなかった。さらに本研究は、この優位性がリランカーの初期化方式に依存していることを示している——すなわち、その入力形式（クエリ–候補ペア）が本来的に逐項目読み取りに適しているためであり、もしそれぞれのエンコーダーの出力のみを使用するならば、両者の読み取り器の性能には差がないことが明らかになった。
逐項目方案は精度において優位だが、エンコーダーの前方伝播を5〜13倍実行する必要があるため、中央値遅延は最大で2倍に、平均遅延は4倍を超える。これに対し、公開された6種類の統合エンコーダー（パラメータ数は1,700万から10億）のうち、1,700万および1.5億パラメータのモデルは、重複して評価されたSystem1-Arenaの209タスクにおいて、それぞれ4.35億パラメータのDeBERTa-v3ゼロショット分類器と比べて、正確率が4.9ポイントおよび5.9ポイント上回り、訓練未見の145タスクでも少なくとも同等の性能を示した。最小の1,700万パラメータの統合モデルは、16スレッドのプロセッサ上で中央値応答遅延がわずか14ミリ秒であり、DeBERTa-v3の728ミリ秒を大きく下回っている。
さらに、統合エンコーダーはオプションの順序に敏感であり、オプションの並び替えによって予測結果の12％～23％が変化する一方で、個々のオプションを順次評価する方式には全く影響がない。公開ランキングのプライベートテストセット（主に分布内タスク）において、パラメータ数が6,800万以下の統合エンコーダーは、該当する規模帯においてトップクラスの性能を示した。なお、すべての結論は論文で報告された実験設定およびベンチマークに基づいており、未検証のパラメータ規模や非公開のタスク分布については拡張していません。