“우리는 그동안 잘못 이해해 왔다”: Goodfire 연구원이 신경망의 해석 가능성에 대한 새로운 관점을 제시해 AI 분야에 큰 파장을 일으켰다
Goodfire 연구원 닉 카마라타는 2만 6천 단어에 달하는 장문의 글을 발표하며, 대형 언어 모델(LLMs)의 내부 메커니즘이 학계의 예상보다 훨씬 더 구조적이고 이해하기 쉽다는 주장을 제기했다. 그의 핵심 논지는 Inception v1과 같은 모델에서 관찰된 ‘다의성 뉴런’에 대한 재해석에 기반하는데, 예를 들어 ‘고양이/자동차 공용 뉴런’은 무질서한 초지정이 아니라 V자형 시각 패턴에 반응하는 것임을 지적한다. 다만 이 주장은 아직 현대 LLM들에 대해 체계적인 검증이 완료되지 않았으며, 스탠퍼드대학교의 크리스 포츠와 어라이먼트 리서치 센터의 제이컵 힐턴 등 학자들로부터 일반화 가능성과 기술적 깊이에 대한 의문을 받고 있다.