3、7、14、17、42：指令微调在语言模型中安装并强化了数字选择启发式方法
arXiv：2610.36178v1 发布类型：新 摘要：我们无需抽样误差，即可测量当被要求生成一个随机数时，语言模型为1至N之间的每个整数所分配的概率。对于固定的提示词，模型会定义一个概率向量；我们通过累加每个整数的得分拼写来计算该向量，而非采用抽样估计，从而消除了限制早期研究[1, 4]的噪声。我们在两个推理栈上，针对多达N=100的五个范围，评估了18条开放权重模型系列，并采用了29种解码配置；其中15个模型同时拥有基础版和指令微调版的检查点，且两者均能给出可用的答案。指令微调使这15对模型中的分布更加不均匀，它引入了一种避免使用整数的启发式方法，并强化了另一种避免接近端点的启发式方法。基础检查点