본문으로 건너뛰기
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI 뉴스 검색

제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.

발행 시간순

스포크, 링이 아니다: 언어 모델의 주중 다양체 재검토

arXiv:2610.37796v1 발표 유형: 신규 초록: 최근 연구에서는 대규모 언어 모델이 특정 개념을 단일 방향이 아닌 다차원적 다양체로 표현할 수 있다고 가정해 왔습니다. 이러한 다양체를 활용하여 표현을 해석하거나 조정하는 과정에서는, 일반적으로 다양체를 따라 이동하는 것이 표현된 개념에 대한 연속적인 변화와 일치한다고 여겨집니다. 본 연구에서는 이러한 연속적 다양체 가정을 전형적인 주중 다양체에 대해 검증합니다. 주목할 만한 원형 기하학에도 불구하고, 우리는 주중 표현들이 연속적인 링이라기보다는 원형으로 배열된 일곱 개의 분리된 상태와 더 유사하다는 점을 발견했습니다. 첫째, 국소적 민감도가 요일에 맞춰 일곱 개의 최소점을 가지며, 이는 다양체 내 조정 하에서 표현과 행동 간의 계단식 매핑을 생성함을 보여줍니다. 둘째, w

진행 상황 및 관련 보도