2026年10月24日にarXivに投稿された研究（論文番号2610.31148v1）は、ツールの強化が言語モデルの比較安定性に与える影響を体系的に検証した。研究によれば、モデルにツールを付与することでプログラムが回答可能な質問における正答率は向上するものの、質問の表現がわずかに変化するだけでモデル間の相対的な順位に大きな変動が生じる現象が広く見られることが明らかになった。
研究チームは、ツール呼び出しのプロセスを「答えの読み出し」「推論過程」「ツールを呼び出すかどうかの判断」「ツールが返す答え」「ツールを呼び出さない場合のデフォルト報告」という5つの独立した段階に分解するマッチングプロトコルを提案しました。このプロトコルは6種類のオープンソースモデルに適用され、5つの知識分野および5種類の異なる表現による質問に対して評価されました。その結果、表現の敏感性の拡大度合いは、モデルがツールを呼び出す頻度と正の相関を示し、さらに呼び出し頻度自体も表現の変化によって異なることが明らかになりました。この現象は一部のモデルでは顕著に見られる一方で、他のモデルではあまり顕著ではありませんでした。
さらなる分析により、感度はインターフェースと命令設計によって制御されることが示された。分子レベルでは、ネイティブなツールによるインターフェース呼び出しと第2版のツール記述を提供した結果、感度の拡大は検出されなかったが、ツールが中間結果を返すシナリオでは、依然として感度が持続していた。本研究は、モデル出力が決定論的であっても、表現間の比較結果が安定しているとは限らないことを強調し、今後の評価においては、単一の正確率指標に依存するのではなく、呼び出し頻度と複数の表現文言下での比較安定性を同時に報告することを提案している。