초록: 최근 연구에서는 대규모 언어 모델이 특정 개념을 단일 방향이 아닌 다차원 매니폴드로 표현할 수 있다고 가정하고 있다. 이러한 매니폴드를 이용해 표현을 해석하거나 조종할 때, 일반적으로 매니폴드를 따라 이동하는 것이 표현된 개념의 연속적인 변화에 해당한다고 여겨진다. 본 연구에서는 전형적인 평일 매니폴드를 대상으로 이 연속적 매니폴드 가정을 검증한다. 놀라운 원형 기하학에도 불구하고, 평일 표현은 연속적인 링 형태라기보다는 원형으로 배열된 일곱 개의 분리된 상태와 더 유사한 것으로 나타났다. 첫째, 우리는 국소적 민감성이 평일에 맞춰 일곱 개의 최솟값을 가지며, 매니폴드 내 조종 하에서 표현과 행동 간에 계단형 매핑이 발생함을 보여준다. 둘째, 매니폴드 상에서 일곱 개의 분리된 상태 외에 다른 개념들이 표현되는지 확인한 결과, 시간대, 불확실성, 또는 자연어 텍스트 중 어느 것도 중간 공간을 채우지 못했다. 이들 결과는 평일 매니폴드에 대한 연속적 해석에 도전하며, 다른 표현 매니폴드를 따라 이동하는 것이 모델의 표현과 행동에 의미 있는 변화를 초래하는지에 대한 추가 검증을 촉구한다.
주제: | 기계 학습(cs.LG); 인공지능(cs.AI) 인용: | arXiv:2610.37796 [cs.LG] | (또는
arXiv:2610.37796v1 [cs.LG] 이 버전) | https://doi.org/10.48550/arXiv.2610.37796
더 알아보기
DataCite를 통한 arXiv 발급 DOI
투고 이력
논문 보기:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
Google 학술검색
Semantic Scholar
북마크
기관
arXivLabs는 협력자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 함께 일하는 개인과 조직 모두는 개방성, 커뮤니티, 우수성, 그리고 사용자 데이터 개인정보 보호라는 당사의 가치를 수용하고 받아들였습니다. arXiv은 이러한 가치에 헌신하며, 이에 부합하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.