要旨：Anthropicによる最近の研究では、ジャコビアンレンズ（J-lens、Gurneeら、2026年）と呼ばれる新たな解釈可能性ツールが導入された。この手法は、最先端の言語モデルの隠れ状態において、作業記憶に類似した表現の特性を示す線形方向を同定した。しかし、こうした特徴がJ-lensによって検出可能となるメカニズム的な性質については依然として不明である。そこで本研究では、J-lensの数学的理論を提案し、同理論が特に一貫性のある特徴――空間的に一貫したリヤプノフモードのように働く方向――を優先的に識別することを示す。これらの方向に沿った微小な摂動は層間で増幅され、トークン位置間でほぼ一定に保たれ、異なる文脈間でも一貫して現れる。なお、これらの性質が必ずしも「グローバルワークスペース」と関連しているかどうかについては立場を明確にしていないが、J-lensが解析的に導かれた選好性を示すことは、これまでに実証的に確認されてきた両モデルクラスへの適用結果を説明するものである。我々は、ベイズフィルタおよびトイトランスフォーマーの二つのモデルに対して本分析を検証し、それぞれが隠れマルコフモデル（HMM）から生成される次なるトークンを最適に予測できることを示した。さらに、ベイズフィルタにおける特徴の一貫性を変化させるタスクパラメータを調整することで、J-lensの応答がそれに応じて予測通りに変化することを明らかにした。加えて、LLMにおける情報処理の異なる時間スケールを強調するためのJ-lensの一群を提案し、これをω-J-lensと呼ぶ。
提出履歴
Paperへのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
オーディオ要約
現在の閲覧コンテキスト：
参考文献および引用
Google Scholar
セマンティック・スカラー
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsと協働する個人および組織は、いずれも当社の価値観であるオープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーを尊重し、受け入れています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。