arXiv:2610.37676v1 公表タイプ：新規
要旨：自動解釈可能性評価手法は、スパースオートエンコーダー（SAE）の特徴量が評価例においてどの位置で活性化するかを、モデルにトークン単位で予測させたり、マークされたトークンがその特徴量に適合するかどうかを判定させたりすることで評価します。我々は、評価データ用の標準的なパイプラインが生成する結果について、解説内容を一切参照せずに評価可能であることを示しました。Neuronpedia に保存されている GPT-2 small のランダムな特徴量500個に対するファジング実行では、活性化例の91.3％が中心トークンにピークを持つように切り取られており、中心トークンがマークされている場合に「はい」と判定するルールは、パイプラインのコードから再構築したマークに基づいて算出した保存済みの LLM スコアラー（各項目ごとの判定結果を基に再計算）の0.838に対し、バランスのとれた精度0.979を達成しました。また、マーク数のみを考慮するルールでも0.969を記録しました。パイプライン間で手がかりの形態には変化が見られ、現在のデルファイ手法ではファジングのネガティブ例において常に同一のスロットがマークされ、フルコンテキストでの実行ではより多くのトークンがネガティブ例にマークされます。OpenAI のシミュレーションベンチマークでは、各ニューロンのトップ活性化シーケンスが最初にリストアップされており、上位5つの活性化を予測するルールは、GPT-4 の公開シミュレーター（事後処理）の0.160に対し、プールした相関係数で0.227を記録しています。我々は、こうしたルールが得られる評価値の閉じた形を導出し、あるスコアラーのシミュレーション評価が保存済みのスニペットに対して自然なウィンドウよりも高いものの、並び替えられているわけではないことを示しました。さらに、位置情報による手がかりを除去するウィンドウを構築し、マークによる手がかりを排除したネガティブ例を生成しつつもそれを構築せず、分解によってシーケンスの手がかりを分離しました。ランダムなオフセットで切り取られた自然文のウィンドウにおいては、全特徴量に共通する固定オフセットの事前知識を用いた最良のルールが0.015を記録しました。同条件下では、このスコアラーであるタイプド決定モデル（Jev）が49個の特徴量に対してプールした相関係数0.331を達成し、解説をシャッフルした場合の0.013に対し大幅に改善されました。また、元の出力結果を用いたオープンな8B規模のシミュレーターにおいても そこに記された説明を読みます（0.194対0.019）。スコアは、同じ項目について、最良の説明なしルールの横に記載する必要があります。