低ランク多線形分解によるLLMのハルシネーション検出
arXiv:2610.36191v1 公告タイプ:新規 要旨:大規模言語モデル(LLMs)は、流暢でありながら事実と一致しない応答を頻繁に生成し、その信頼性に対する懸念が高まっています。近年のハルシネーション検出手法は、内部表現を活用する傾向が強まっていますが、高次元の隠れ状態から有用な信号を抽出することは依然として困難です。既存のアプローチでは、選択された活性化値やプーリングベースの圧縮に依存することが多く、Transformer層、特徴モード、トークン全体に分散する識別力のある情報を見落としてしまう可能性があります。私たちは、LOTUS(Low-rank Order-statistic TUcker-based Subspace learning)を提案します。これは、ハルシネーション検出のための多線形低ランク分解フレームワークであり、LLMの隠れ状態からコンパクトな表現を抽出しつつ、ラベルへの依存度を低減します。