
一项于2026年10月24日提交至arXiv的研究(论文编号2610.31148v1)系统考察了工具增强对语言模型比较稳定性的影响。研究发现,尽管为模型配备工具可在程序可答问题上提升准确率,却普遍加剧了因问题措辞微小变化而导致模型相对排名波动的现象。
研究团队提出一种匹配协议,将工具调用过程拆解为五个独立环节:答案读出、推理过程、是否调用工具的决策、工具返回的答案、以及不调用工具时的默认报告。该协议应用于六种开源模型,在五个知识领域、五种不同措辞的问题下进行测试。结果显示,表述敏感性的扩大程度与模型调用工具的频率正相关,而调用频率本身又因措辞变化而异——这一现象在部分模型中显著,在另一些模型中则不明显。
进一步分析表明,敏感性受接口与指令设计调控:在分子领域,采用原生工具调用接口并提供第二版工具描述后,未检测到敏感性扩大;但在工具返回中间结果的场景中,敏感性依然持续存在。研究强调,即使模型输出确定(deterministic),也不能保证跨表述的比较结果稳定,并建议未来评估应同步报告调用频率及多措辞下的比较稳定性,而非仅依赖单一准确率指标。