콜리브리: 파레토 경계상의 주권을 가진 유럽 모델

arXiv:2610.31945v1 발표 유형: 신규 초록: 본 보고서는 총 매개변수 수 781억 개, 토큰당 활성 매개변수 수 34.6억 개를 갖춘 영어-독일어 혼합 전문가형 트랜스포머인 Kolibri를 소개하며, 이 모델은 Apache 2.0 라이선스 하에 오픈 가중치로 공개되었습니다. 우리는 주권적이고 특화된 배포를 위해 Kolibri를 구축했으며, 특히 독일어와 공공 행정, 산업, 항공우주 등 규제되는 분야에 중점을 두었습니다. 이러한 환경을 지원하기 위해 데이터, 아키텍처, 학습 인프라, 후처리 및 평가에 이르기까지 모델 개발의 전 과정을 직접 관리합니다. Kolibri는 사전 학습, 중간 학습 및 장문 컨텍스트 확장 단계를 거쳐 총 24T 토큰 규모로 학습되었으며, 데이터 구성에서 독일어가 바이트 기준으로 20% 이상을 차지합니다. 이 비중을 달성하기 위해 우리는 독일어 데이터셋을 보완하여