arXiv：2610.36191v1 发布类型：新
摘要：大型语言模型（LLMs）常常生成流畅但事实错误的回复，这引发了对其可靠性的担忧。近年来，幻觉检测器越来越多地利用内部表示，然而从高维隐藏状态中提取有效信息仍具挑战性。现有方法往往依赖于特定激活或基于池化的压缩策略，可能忽略了分布在Transformer各层、特征模式及各个标记中的判别性信息。我们提出LOTUS（基于低秩顺序统计的TUcker子空间学习），这是一种用于幻觉检测的多线性低秩分解框架，能够在减少对标注数据依赖的同时，从LLM的隐藏状态中提取紧凑表示。我们的方法首先通过互补的统计描述符对变长标记表示进行汇总，这些描述符能够捕捉峰值激活、激活分布以及跨层变化。随后，我们借助低秩多线性分解提取出能够反映LLM隐藏状态底层结构的紧凑表示，并以此训练一个轻量级的幻觉分类器。在多个LLM和问答基准上的实验表明，与近期最先进的基线相比，我们的方法显著提升了幻觉检测性能。