arXiv:2610.36709v1 发布类型：新
摘要：推理型语言模型通过撰写冗长的思维链来解答数学问题，而对每个题目采样多条思维链并以多数投票的方式作出判断，虽然能提升准确率，却会显著增加生成文本的量。一种常见的降本方法是根据模型对其所生成的每个标记（token）的信心值为每条思维链打分；这里的“标记”指一个词或词的一部分。该方法以2048个标记为滑动窗口，计算窗口内各标记信心值的平均值，并依据最低平均值决定保留或终止相应思维链。我们把逐标记记录的信心值视为一种类似于音频或无线电信号的特征，并借助谱分析、统计检验等标准信号处理工具，探究这一方法能否检测出信号中的突变。我们使用一款小型开放式推理模型，从两个数学基准测试集中为500道题目各采样16条思维链。结果表明，基于滑动窗口的最小值评分主要反映的是思维链的长度。仅按长度排序的效果与信心评分相当甚至更优；而在考虑了长度因素之后，该评分便不再具备任何关于正确性的信息。信号处理理论可以解释这一现象：当一段缓慢漂移的信号持续时间较长时，其最小值往往会因偶然因素而偏低；而信心信号的漂移速度又足够缓慢，以至于这种偶然效应占据主导地位。尽管频谱中确实存在一段无法用长度解释的微弱信号——因为错误的思维链往往表现出更为快速的标记间波动——但其强度过于微弱，不足以对最终的多数投票结果产生实质性影响。至于提前终止思维链，无论是滑动平均法还是经典的变化检测器，都比不上更为简单的减少采样数量这一做法。