arXiv:2610.36191v1 公告タイプ：新規
要旨：大規模言語モデル（LLM）は、流暢でありながら事実と一致しない応答を頻繁に生成し、その信頼性に対する懸念が高まっています。近年のハルシネーション検出手法では、内部表現を活用する例が増えていますが、高次元の隠れ状態から有用な信号を抽出することは依然として困難です。既存のアプローチは、選択された活性化やプーリングによる圧縮に依存することが多く、Transformer層間や特徴モード、トークン間に分散する判別力のある情報を見落としてしまう可能性があります。そこで私たちは、ラベル付きデータへの依存を低減しつつ、LLMの隠れ状態からコンパクトな表現を抽出する、ハルシネーション検出向けの多線形低ランク分解フレームワークであるLOTUS（Low-rank Order-statistic TUcker-based Subspace learning）を提案します。本手法ではまず、ピーク活性化、活性化分布、層間変化を捉える補完的な統計的記述子を用いて、可変長のトークン表現を要約します。続いて、低ランクの多線形分解を活用して、LLMの隠れ状態に内在する構造を捉えたコンパクトな表現を抽出し、これを軽量なハルシネーション分類器の学習に用います。複数のLLMおよび質問応答ベンチマークにおける実験により、最近の最先端ベースラインに比べて、ハルシネーション検出性能の向上が示されています。