arXiv:2610.37676v1 발표 유형: 신규
요약: 자동 해석 가능성은 스파스-오토인코더(SAE)의 특성이 평가 예시에서 어디에서 활성화되는지 모델에게 토큰 단위로 예측하도록 요청하거나, 표시된 토큰들이 해당 특성에 부합하는지 판단하도록 함으로써 이를 평가합니다. 우리는 평가 데이터를 위한 표준 파이프라인이 설명을 읽지 않고도 점수를 매길 수 있음을 발견했습니다. Neuronpedia에 저장된 GPT-2 소형 모델의 500개 무작위 특성에 대한 퍼징 실행 결과, 활성화된 예시의 91.3%가 중심 토큰에 최대값이 위치한 상태로 잘려 있으며, 중심 토큰이 표시되어 있을 때 “예”라고 판단하는 규칙은 0.979의 균형 잡힌 정확도를 달성한 반면, 저장된 LLM 점수 매기기 도구들은 0.838의 정확도를 보였습니다(파이프라인 코드로부터 재구성된 표시를 기반으로 계산됨); 또한 표시 개수만을 기준으로 하는 규칙은 0.969의 정확도를 기록했습니다. 각 파이프라인마다 신호의 형태는 달라집니다: 현재 델파이는 퍼징 네거티브에서 항상 동일한 슬롯을 표시하며, 전체 문맥 실행에서는 더 많은 토큰을 사용해 네거티브를 표시합니다. OpenAI의 시뮬레이션 벤치마크는 각 뉴런의 최고 활성화 시퀀스를 우선적으로 나열하는데, 처음 다섯 개의 시퀀스에 대해 활성을 예측하는 규칙은 통합 상관관계에서 0.227의 점수를 기록한 반면, GPT-4의 공개된 시뮬레이터는 0.160을 기록했습니다(사후 분석). 우리는 이러한 규칙들이 얻을 수 있는 점수의 닫힌 형태를 제시하고, 한 점수 매기기 도구의 시뮬레이션 점수가 저장된 스니펫에서는 자연스러운 창보다 높지만 순서가 재배치된 것으로 나타나지는 않음을 보여줍니다. 또한 위치 신호를 제거하는 창을 구성하고, 표시 신호를 제거하는 네거티브를 생성하지만 이를 직접 구축하지 않으며, 분해를 통해 시퀀스 신호를 분리합니다. 무작위 오프셋으로 잘린 자연어 텍스트 창에서, 모든 특성에 공통으로 적용되는 최선의 고정 오프셋 사전은 0.015의 점수를 기록합니다. 이 창들에서, 해당 점수 매기기 도구인 타이핑된 결정 모델(Jev)은 49개의 특성에 걸쳐 0.331의 통합 상관관계를 달성한 반면, 설명을 섞어 제공한 경우에는 0.013의 점수를 기록했으며, 원래 출력 방식을 유지한 열린 8B 시뮬레이터는 거기서 설명을 읽어보면 (0.194 대 0.019)입니다. 점수는 동일한 항목에서 가장 우수한 설명 없는 규칙 옆에 기재되어야 합니다.