2026年10月24日、arXivプラットフォームに『Verbalizing Activation Differences with Natural Language Autoencoders』というタイトルの論文が公開されました（ID: arXiv:2610.30934v1）。この論文は、自然言語自動符号化器（NLAs）による大規模言語モデル内部の活性化状態の可読化表現能力に焦点を当てています。NLAsは、自然言語によるボトルネックを通じてモデルの活性化を再構築し、高次元ベクトルを人間にとって理解可能なテキスト記述へと変換します。
研究は、4つの核心的な問いを軸に実証を行った。すなわち、NLAが生成する記述は入力の組み合わせ性を備えているか、元モデルの微調整版へと一般化できるか、モデル差分（model diffing）において微調整の目的を再現できるか、そして差分タスク向けに特別に最適化可能か、という点である。実験は4種類の異なるアーキテクチャを持つ大規模言語モデルを対象として実施され、その結果は総じて肯定的な結論を支持している。例えば、類推タスクにおける活性化パターンでは、NLAによる記述は主に目標語に焦点を当てており、減算対象となる語への言及は極めて少ない。また、同一のNLAは軽量な微調整モデルにもそのまま適用可能であり、大きなモデルにおいてのみ明確な再構築品質の低下が見られた。
モデル差分のシナリオにおいて、NLAは「タブーなモデル生物」（Taboo model organisms）とその元のモデルとの間の活性化差異を言語化し、多くの事例で隠されていたキーワードを成功裏に復元しました。強化学習を導入することで、未見の生物に対するキーワードの復元性能もさらに向上しました。なお、NLAはモデルの微調整に依存して出力トークンを生成することなく、プロンプトの先頭にある重要なトークンの位置を特定し、微調整対象を復元することが可能です。新興のエマージェント・ミスアライメント検出タスクにおいては、現行の最優秀差分手法にはまだ及んでいませんが、ブラックボックスベースラインよりも著しく優れています。