
2026年10月24日,一篇题为《Joint or Per-Option? Compact Encoders for Closed-Set Decisions from 17 Million to 1 Billion Parameters》的论文在arXiv平台首发(编号arXiv:2610.30970v1),聚焦语言模型流水线末端的闭合集决策任务(例如工具选择),探讨如何以最小参数量实现高效、鲁棒的决策编码器,并核心比较两种输入处理范式:联合阅读所有选项(joint scoring)与逐个独立评分(per-option scoring)。
在3200万参数规模的三随机种子实验中,逐选项评分在37个基准组成的决策套件上,以‘机会校正技能’(chance-corrected skill)为指标,较联合评分高出5.8分(优化器步数对齐时)和2.8分(训练计算量近似对齐时);两个外部基准结果趋势一致,但在其未见任务上差异未达统计显著性。研究进一步指出,该优势依赖于重排序器(reranker)初始化方式——其输入格式(query-candidate pair)天然适配逐选项阅读;若仅使用原始编码器输出,则两类阅读器表现无差别。
逐选项方案虽精度占优,但需执行5至13倍的编码器前向传递,导致中位延迟最多翻倍,而平均延迟超4倍。相比之下,六款发布的联合编码器(参数量从1700万至10亿)中,6800万和1.5亿参数模型在209个经重叠审计的System1-Arena任务上,分别比4.35亿参数DeBERTa-v3零样本分类器高4.9和5.9个百分点准确率;在145个训练未见任务上至少持平。最小的1700万参数联合模型在16线程处理器上中位响应延迟仅14毫秒,远低于DeBERTa-v3的728毫秒。
此外,联合编码器对选项顺序敏感:重排选项会改变其12%–23%的预测结果,而逐选项评分完全不受影响。在公共排行榜的私有测试集(主要为分布内任务)上,参数量不超过6800万的联合编码器在其所属规模区间内表现领先。所有结论均基于论文所报告的实验设置与基准,未延伸至未测试参数规模或未披露任务分布。