arXiv：2610.36178v1 发布类型：新
摘要：我们无需抽样误差，即可测量语言模型在被要求生成一个随机数时，对从1到N的每一个整数所赋予的概率。对于固定的提示词，模型会确定一个概率向量；我们通过累加每个整数对应的得分拼写来计算该向量，而非采用抽样估算，从而消除了限制早期研究[1, 4]的噪声。我们在两个推理栈上，针对多达N=100的五个取值范围，以29种解码配置评估了18条开放权重模型系列；其中15条同时拥有基础版与指令微调版的检查点，且两者均能给出可用的答案。指令微调使这15对模型的概率分布变得不那么均匀；它引入了一种启发式策略——避免接近整数的数值——并强化了另一种策略——避免靠近端点的数值。基础版检查点在去除端点后便不再回避整数；而微调版检查点则几乎完全避免了这些数值，尤其是10的倍数。基础版检查点在内部区间内返回端点1和N的概率为0.30至0.60；而微调版检查点几乎从不返回这两个端点。对奇数的偏好仅在N=100时于所有微调版检查点中保持一致，此时基础版检查点也表现出较弱的倾向。端点规避与奇数偏好符合Kubovy和Psotka[6]提出的关于人类数字选择的解释；而整数规避并不在该解释之内，其所预测的中间值规避现象也基本不存在，仅在N=100处存在一处细微例外。微调并未在各模型间形成新的共同偏爱的整数：当N>10时，超过42%的微调条件下没有出现共享的众数整数；而在15对模型中，P(17)在10对中上升、在5对中下降。这种集中趋势同样体现在模型自身的概率分布中：在温度为1.0、top-p截断阈值为0.95的情况下，总变异度增加了0.035的中位数。 距离。