AI 自动翻译
arXiv:2610.33442v1 发布类型：新
摘要：据报道，大型语言模型（LLMs）容易出现可靠性问题，包括幻觉和推理错误。现有的质量检测器能够基于内部表示预测不可靠的输出，且准确率尚可。然而，这些检测器的训练通常需要大量特定领域的标注数据，这限制了它们在新领域的适用性。我们提出通过跨相关领域迁移表示特征来应对这一挑战。具体而言，我们构建了一个统计框架：首先为每个领域提取低维特征签名，然后采用交叉拟合方法学习各领域专用预测器的组合权重。这些权重会根据源领域对目标领域的预测相关性进行自适应调整。我们对一种最小二乘法近似模型进行了渐近分析，从领域差异与表示偏差的角度刻画了其极限预测风险及聚合权重。在多个幻觉数据集和开放权重大型语言模型上的实验表明，在新领域仅需25个标注问题的情况下，自适应迁移可将幻觉检测的AUROC提升6.8%；在推理步骤预测方面，则可将AUROC提升8.4%。