プレフィックスのキーと値は後から重要になる：ループ型言語モデルにおける自己推測的デコードのためのRIPEキャッシュ

arXiv:2610.34436v1 発表タイプ：新規 要旨：ループ型言語モデルは、各トークンに対して層のブロックを$R$回実行するため、そのキーバリューキャッシュ（KVキャッシュ）には各再帰層ごとに$R$個の平面が格納され、自己予測的デコーディング（一部のループで予備的に推論し、残りの$R$すべてで検証する手法）ではそれらすべてを読み込む。我々は、プレフィックスのキーとバリューが影響を及ぼすのは後半に集中していることを確認した。同程度の摂動サイズにおいて、ループ25〜32はループ2〜9に比べて、Huginn-0125では$e^{15.0}$倍、Raven-Llamaでは$e^{12.8}$倍も感度が高く、各平面はそれぞれのループごとに0.88および0.81の割合で最後の平面へと幾何級数的に近づいていく。このとき、最も深い平面単独で十分かどうかは、後半の平面がどれほど成熟しているかに依存する。Ravenの場合、その平面のみを保存してもbf16からfp32への変換と区別できない一方、Huginnでは位置のわずか1%が全体の誤差の74%を占めている。これをRIPEに展開すると、最も深い