2026年10月24日，一篇题为《Verbalizing Activation Differences with Natural Language Autoencoders》的论文在arXiv平台发布（编号arXiv:2610.30934v1），聚焦自然语言自动编码器（NLAs）对大语言模型内部激活状态的可读化表征能力。NLAs通过自然语言瓶颈重建模型激活，将高维向量转化为人类可理解的文本描述。
研究围绕四个核心问题展开实证：NLA生成的描述是否具备输入组合性；能否泛化至原模型的微调版本；能否在模型差分（model diffing）中还原微调目标；以及能否被专门优化用于差分任务。实验覆盖四个不同架构的大语言模型，结果总体支持积极结论：例如，在类比任务激活组合中，NLA描述多指向目标词而极少提及被减去的词；同一NLA可直接复用于轻量级微调模型，仅在最大模型上出现明显重建质量下降。
在模型差分场景中，NLA对‘禁忌模型生物’（Taboo model organisms）与其原始模型的激活差异进行 verbalization，成功恢复出多数案例中被隐藏的密钥词；引入强化学习进一步提升了对未见生物的密钥词恢复效果。值得注意的是，NLA无需依赖微调模型生成任何输出token，即可识别出提示前的关键token位置并恢复微调目标。尽管在新兴的错位检测（emergent misalignment detection）任务上尚未超越当前最优差分方法，但已显著优于黑盒基线。