2026년 10월 24일, ‘AQL-Lite: 데이터 중심 지속적 사전 학습을 통한 아랍어 LLM의 효율적 지식 습득 가능화’라는 제목의 논문이 arXiv 플랫폼에 게재되었으며(번호 2610.30344v1), AQL-Lite 프레임워크가 공식적으로 제안되었다. 이는 보다 적은 시간과 자원 비용으로 다국어 대규모 언어 모델을 현대 표준 아랍어(MSA)에 효율적으로 적용하는 것을 목표로 한다.
AQL-Lite는 두 가지 핵심 구성 요소를 포함합니다. 첫째, 품질을 최우선으로 하는 데이터 정리 프로세스로, 구조 정제, 휴리스틱 및 모델 기반 필터링, MSA 텍스트 인식 및 중복 제거를 포괄합니다. 둘째, 일부 파라미터 지속적 사전훈련(CPT) 전략으로, RS-LoRA 어댑터와 마지막 여덟 개의 트랜스포머 층 및 임베딩 매트릭스만 업데이트하며 계층적 학습률을 적용합니다. 10억 토큰의 예산 하에서 이 방법은 네 가지 아랍어 벤치마크의 평균 점수를 3.51점 상승시킨 반면, 동일한 조건에서 원본 웹 텍스트를 사용한 CPT는 어떠한 성과도 가져오지 않았습니다.
50억 토큰 규모의 통제된 비교 실험에서 AQL-Lite는 네 가지 벤치마크의 평균 점수 73.19를 기록하여, 전체 파라미터 CPT(73.58) 대비 94%의 성능 향상을 달성했으며, 소요 시간은 그의 52%에 불과했습니다. 또한 모든 벤치마크에서 순수 어댑터 기준선을 상회했습니다. 이후 400억 MSA 토큰으로 확장하고 100만 개의 명령어로 미세조정한 결과, 생성된 12B 파라미터 모델은 Open Arabic LLM Leaderboard v2(7개 벤치마크)에서 75.3점을 기록했습니다.
논문은 소거 분석을 통해 RS-LoRA 어댑터, 언로드된 하위 모듈, 그리고 임베딩 매트릭스 학습의 세 요소 모두가 각각 독립적인 기여를 한다는 점을 확인했다고 밝혔다. 연구 결과는 정교하게 선별된 텍스트 데이터를 바탕으로 일부 파라미터만 CPT에 적용하는 것이, 효율적이고 실현 가능한 MSA 대규모 모델 적응 경로임을 강조한다.