arXiv:2610.37676v1 公告类型：新
摘要：自动化可解释性通过让模型逐个标记地预测特征在评估样本上的激活位置，或判断标记过的标记是否与该特征相符，从而对稀疏自编码器（SAE）的特征进行评分。我们发现，无需读取解释，即可对评估数据的标准流水线进行评分。在Neuronpedia存储的针对500个随机GPT-2小型特征的模糊测试运行中，91.3%的激活样本都以中心标记为峰值进行裁剪；而当中心标记被标记时判定为“是”的规则，其平衡准确率可达0.979，相比之下，基于存储的LLM评分器（根据流水线代码重新计算的逐项判决结果）的准确率为0.838；仅依据标记数量的规则也能达到0.969。不同流水线中的提示形式各不相同：当前的德尔菲方法在其模糊测试的负例中始终标记同一槽位，而全上下文运行则会用更多标记来标注负例。OpenAI的仿真基准首先列出每个神经元的前几大激活序列；一项预测前五个序列是否激活的规则，在汇总相关性上得分为0.227，而GPT-4公开的仿真器得分仅为0.160（事后计算）。我们给出了此类规则所能达到的理论上限；并证明某评分器对存储片段的仿真得分高于自然窗口，但并未显示出排序变化；此外，我们还构建了去除位置线索的窗口，推导出但未生成去除标记线索的负例，并通过分解方式分离序列线索。在以随机偏移切割的自然文本窗口上，所有特征共享的最佳固定偏移先验得分为0.015。在此基础上，该评分器——一种类型化的决策模型（Jev）——在49个特征上的汇总相关性达到0.331，而使用打乱后的解释时仅为0.013；同时，采用原始输出的开放式8B仿真器也表现出类似的结果。 阅读那里的解释（0.194 对比 0.019）。得分应在同一项目上、最佳无解释规则的旁边予以报告。