トークン信頼度は単なるチェーン長にすぎないのか？推論トレースに対する信号処理的検証

arXiv:2610.36709v1 発表タイプ：新規

要旨：推論型言語モデルは、長大な思考過程を記述することで数学問題に解答し、問題ごとに多数の思考経路をサンプリングして多数決を採用することで精度を向上させるが、その際には生成されるテキスト量が大幅に増加するというコストが伴う。このコストを削減する一般的な手法として、モデルが各トークンを生成する際に示す確信度に基づいて各思考経路をスコアリングする方法がある。ここで「トークン」とは単語または単語の一部を指す。この手法では、2048トークンからなる移動窓において確信度を平均化し、その平均値が最も低い思考経路を保持または停止する。私たちは、トークンごとに記録された確信度を、音声やラジオ信号と同様の意味での“信号”と捉え、スペクトル解析や急激な変化を検出する統計的検定といった標準的な信号処理手法を用いて本手法を評価した。小型のオープン形式の推論モデルを用い、2つの数学ベンチマークから得た500問について、各問題につき16本の思考経路をサンプリングした。その結果、窓付き最小値によるスコアリングは、主に思考経路の長さを測定していることが明らかになった。思考経路を長さだけで順位付けするだけでも、確信度スコアと同等かそれ以上の性能を示し、さらに長さを考慮に入れた後には、スコア自体は正答性に関する情報をほとんど含まないことが分かった。信号処理の観点から説明すると、ゆっくりと漂う信号の長い区間における最小値は、偶然にも低くなる傾向があり、また確信度信号は十分に緩やかに変動するため、この効果が支配的となる。スペクトルには、長さでは説明できない微弱な信号成分が存在するものの、それは投票結果を改善するにはあまりにも弱く、早期に思考経路を停止するためには、移動平均や古典的な変化検出器よりも、より単純な「思考経路をより少なくサンプリングする」という選択の方が優れている。