요약: 두피 기록은 잡음이 많고 공간적 해상도가 낮으며, 시험별 및 피험자 간에 변동성이 크기 때문에 EEG를 통한 시각적 해독은 여전히 어려운 과제로 남아 있다. 대부분의 시스템은 각 시험을 고밀도 이미지 임베딩과 정렬하지만, 이러한 임베딩은 의미적 내용과 인스턴스 특유의 질감, 자세, 배경 등을 혼합하고 있다. 이는 EEG에서 나타나지 않는 세부 정보를 요구할 수 있으며, 예측을 뒷받침하는 시각적 요인에 대한 명시적인 설명도 제공하지 않는다. 우리는 EEG와 이미지 간 정렬을 공유 가능한 학습 가능한 시각 코드북 위에서의 소프트 컴포지션으로 재구성하는 프로토타입 매개형 프레임워크인 \textbf{ProtoEEG}를 제안한다. 학습 가능한 EEG 인코더와 고정된 시각 교사가 동일한 $K=64$개의 프로토타입에 대한 할당 분포를 생성하며, 이들의 가중 합성 재구성은 검색 및 이미지 생성을 위한 구조화된 표현을 형성한다. 프로토타입 대비는 주요 교차 모달 학습 신호를 제공하고, 분포 정렬은 여러 모달리티 간 코드북 사용을 조율하며, 인스턴스 앵커는 미세한 차별력을 유지하고, 다양성 정규화는 중복된 프로토타입을 방지한다. 또한 공유된 할당 프로파일을 통해 학습된 병목 단계를 프로토타입 보존, 무작위 선택, 정체성 교환 등의 방법으로 직접 검증할 수 있다. 다섯 개의 시드를 기준으로, ProtoEEG는 THINGS-EEG2 200-way 검색에서 Top-1 64.0%, Top-5 91.5%의 성능을 달성했다. 이후 EEG-ImageNet에서 재훈련을 거친 뒤에는 80-way 검색에서 Top-1 44.8%, Top-5 73.8%의 성능을 얻었다. ProtoEEG는 또한 일곱 가지 재구성 지표 모두에서 1위를 기록했다. 프로토타입 대비를 제거하면 Top-1 성능이 56.9%p 하락하는 반면, 프로토타입 정체성을 무작위로 섞으면 Top-1 성능이 0.5%로 떨어진다. 프로토타입 분석 결과는 단일 프로토타입으로의 경로 지정보다는 분산된 할당과 광범위한 코드북 활용을 보여준다. 이러한 결과는 구조화된 정렬 목표가 실용적인 대안으로서 단순히 인코더 또는 교사의 용량을 늘리는 것만으로는 충분하지 않습니다.
제출 기록
Access Paper:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
구글 학술 검색
시멘틱 스콜라
북마크
기관
arXivLabs는 협업자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 협력하는 개인과 조직 모두는 개방성, 커뮤니티, 탁월성, 그리고 사용자 데이터 프라이버시라는 당사의 가치를 수용하고 이를 준수해 왔습니다. arXiv은 이러한 가치에 전념하며, 이들 가치를 준수하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.