2026년 10월 24일, ‘baseVultra: 재할당된 용량을 갖춘 컴팩트한 비선형 순환 단위’라는 제목의 논문이 arXiv 플랫폼에 처음 게재되었으며(논문 번호: arXiv:2610.30154v1), 새로운 형태의 컴팩트한 비선형 순환 단위인 baseVultra를 제안했다. 이 연구는 현재까지도 LSTM과 GRU가 주도하고 있는 게이트 기반 순환 단위 설계 패턴에 대해, 순환 계산 자원을 게이트 변환 경로에서 후보 값 생성 경로로 재배치하는 방식을 탐구한다.
baseVultra의 핵심 설계에는 다음과 같은 요소가 포함된다: 단일 H×H 밀집 행렬을 사용하여 후보 생성을 전담하며, 기존 게이트 구조에서의 밀집 순환 행렬을 O(H) 복잡도의 대각 상호작용으로 대체한다; 후보 업데이트 과정에서는 밀집 분기, 두 개의 낮은 랭크 보조 분기, EMA 캐시 및 학습 가능한 출력을 혼합하여 통합한다; 또한 게이트 부분에서는 앞선 두 단계의 은닉 상태 h_{t-2}에 대한 경량의 2차 대각 접근 방식을 도입한다. TinyShakespeare 문자 수준 모델링 과제에서, 20만 개의 파라미터를 갖는 단층 구성은 검증 손실 1.594를 기록하여 동일한 파라미터 수준의 LSTM(1.604) 및 GRU(1.616)보다 우수한 성능을 보이며, 밀집 행렬-벡터 연산량은 GRU의 약 54%에 불과하다.
더 큰 규모의 text8 데이터셋에서 baseVultra는 문자당 비트 수(bpc) 1.854를 기록하여 GRU(1.849)와 LSTM(1.837)에 비해 다소 뒤처졌습니다. 한편, 형식 언어 탐지 프로브인 Counter 과제에서(은닉 차원 H=16) 외부 분포(OOD2)에 대한 정확도가 0.991로, GRU(0.761)와 LSTM(0.691)보다 현저히 높았습니다. 논문은 이러한 성능 향상이 매우 컴팩트한 구조에 크게 의존하며, 은닉 차원이 증가할수록 그 효과가 약화된다고 지적합니다. 이는 baseVultra가 자원 제약이 있는 스트리밍 시퀀스 모델링 환경에 적합함을 시사합니다.