神经网络矿井中的金丝雀：捕捉图像分类器的无声而自信的失误

arXiv:2610.33063v1 发布类型：新 摘要：部署后的视觉模型会自动接受置信度较高的预测，因此高置信度错误会在不知不觉中传播。作为标准的故障预测指标，最大 softmax 概率（MSP）存在一个结构性盲点：作为一种从分类器头部读取的标量，它对与其置信度梯度正交的特征变化在一阶上是“视而不见”的。通过对特征空间检测器进行因子分析，我们发现了一条条件冗余原则，用以解释为何这些检测器无法有效补充 MSP：它们所衡量的类别可分性几何结构实际上早已被编码在 MSP 中，并且在融合后会完全失效。最终幸存下来的信号，是位于流形外残差上的类别条件典型性——而由于这一残差的分布因骨干网络的不同而异，从接近高斯分布到重尾分布不等。