AdaptTok-인디크: 인디크 언어를 위한 스크립트 인식 적응형 토큰화

arXiv:2610.33017v1 발표 유형: 신규 초록: 영어 중심의 텍스트 코퍼스를 기반으로 학습된 다국어 토크나이저는 인도계 언어를 과도하게 세분화하는 경우가 많아, 그 결과 토큰 시퀀스가 길어지고 각 문자 체계 간의 토크나이징 격차가 확대됩니다. 우리는 유니코드 정규화 전처리와 명시적인 인도계 결합 처리, 스크립트 인식 라우팅, 그리고 소규모 트랜스포머 언어 모델과 함께 공동 학습된 학습된 바이트 단위 경계 예측을 결합한, 인도계에 특화된 적응형 토크나이징 확장인 AdaptTok-Indic을 제안합니다. 벵골어와 힌디어를 대상으로 평가했으며, 구자라트어, 타밀어, 텔루구어에 대해서도 추가적으로 평가한 결과, AdaptTok-Indic은 인도계 지향 토크나이저 기준점인 SentencePiece BPE 및 독립적으로 구현된 MAGNET 방식 기준점보다 낮은 토큰 비용을 달성했습니다. 다섯 가지 기록된