文脈内学習と文脈外ハルシネーションのメカニズム分析
arXiv:2611.24000v1 発表タイプ:新規 要旨:大規模言語モデルは文脈内学習(ICL)を通じて特定の規則を推論・遵守できる一方で、提示された証拠に忠実であり続けられず、文脈外(OOC)ハルシネーションを引き起こすことがあります。既存の研究は、主にICLとOOCハルシネーションの背後にあるメカニズムを別々に検討してきました。しかし、この分離により、一見相反する結果のメカニズム的基盤が曖昧になっています。本研究では、動的な文脈における機能的役割という統一的な視点からこの対比を考察します。重要な観察結果は、出力を確実に制約せずに、役割情報を内部的に表現できるという点です。私たちは役割効果を定量化する一次分解を導出し、その大きな影響力が二つの必要条件、すなわち十分な寄与量と整合性のある符号付き集約に依存することを示しました。因果分析によりさらに、役割スパンの寄与は応答構造、内容選択、および事実値に関わる重要なトークン選択に影響を与えることが明らかになりました。また、役割と整合した選択はこれらの重要な意思決定において十分な役割スパンのサポートに依存し、逆に不適切な選択は、このサポートが不足を補うことで是正可能であることも示しました。これらの知見は、ICLとOOCハルシネーションに関する共通のメカニズム的見解を支持しています。すなわち、各機能的役割は役割スパンの寄与が有効であり続けなければならない出力決定のパターンを規定しており、この組織化の違いが一見相反する結果を生み出す要因となっているのです。






