潜在一致性：前沿语言模型的概率判断是否遵循全概率定律？

arXiv:2610.31833v1 发布类型：新摘要：LawZero 的 Scientist AI 通过一种目标函数训练预测器，使其逼近贝叶斯后验分布，该目标函数会惩罚潜在解释之间概率不一致的情况。我们探究当前处于前沿水平的语言模型——尽管未经过此类训练——是否在零样本条件下已在此意义上保持一致性：当隐变量 z 必须从上下文中的记录中推断时，其概率判断是否满足全概率公式 $P(X)=\\sum_z P(z)P(X|z)$？在单独的单轮调用中，模型被要求给出 $P(X)$、关于隐变量各状态的 $P(z)$，以及 $P(X|z)$；因果家族还对 $P(y|do(x))$ 和后门调整施加了同样的检验。每个查询都配有精确的真值概率，且部分条目以三种不同的表述方式分别提出，以进行区分

arXiv：2610.31833v1 发布类型：新

摘要：LawZero的Scientist AI通过一种惩罚潜在解释间概率不一致性的目标函数，将预测器训练至贝叶斯后验。我们探究当前处于前沿水平的语言模型在未经过此类训练的情况下，是否已在零样本情形下具备这种一致性：当隐变量z必须从上下文中的记录中推断时，其概率判断是否满足全概率公式$P(X)=\\sum_z P(z)P(X|z)$？在单独的单轮调用中，模型被要求给出$P(X)$、隐变量各状态下的$P(z)$，以及$P(X|z)$；因果家族还对$P(y|do(x))$和后门调整施加了同样的检验。每项查询都配有精确的真值概率，且部分条目以三种不同表述方式提出，以区分持续存在的不一致性与改写带来的噪声。在七款模型中，GPT-6.1 Sol和Claude Opus 5.5表现出最高的连贯性（平均绝对残差分别为0.08和0.12 log-odds，约相当于2个百分点）。Claude Haiku 5.5、Gemini 3.8 Flash和DeepSeek V4-Pro则显示出持续的不一致性（0.27–0.35 log-odds），且这种不一致性多为特定条目相关，而非共同的偏移。在每款模型内部，残差越大，与真值的误差也越大（Spearman相关系数为0.40–0.62），因此无需真值的残差便可作为不可靠答案的警示指标。无论是在不同模型之间，还是在同一模型内针对同一问题的不同改写形式中，推理长度均无法预测连贯性。简单的一致性检验几乎在所有情况下都能通过；出现失败的仅限于涉及隐变量的推理过程。代码与数据：https://github.com/ppotash/latent-coherence

资料来源

arXiv cs.CL