通过低秩多线性分解进行大语言模型幻觉检测
arXiv:2610.36191v1 发布类型:新 摘要:大型语言模型(LLMs)经常生成流畅但事实错误的回复,这引发了对其可靠性的担忧。近期的幻觉检测方法越来越多地利用内部表示,但从高维隐藏状态中提取有效信息仍然充满挑战。现有方法往往依赖于特定激活或基于池化的压缩方式,可能忽略了分布在Transformer各层、特征模式和标记中的判别性信息。我们提出了LOTUS(基于低秩顺序统计TUcker的子空间学习),这是一种用于幻觉检测的多线性低秩分解框架,能够在降低对标签依赖的同时,从LLM的隐藏状态中提取紧凑的表示。