
2026年10月24日,一篇题为《AQL-Lite: Enabling Efficient Knowledge Acquisition for Arabic LLMs via Data-Centric Continual Pretraining》的论文在arXiv平台发布(编号2610.30344v1),正式提出AQL-Lite框架,旨在以更低时间与资源成本,将多语言大语言模型高效适配至现代标准阿拉伯语(MSA)。
AQL-Lite包含两大核心组件:一是质量优先的数据整理流程,涵盖结构清洗、启发式与模型驱动过滤、MSA文本识别及去重;二是部分参数持续预训练(CPT)策略,仅更新RS-LoRA适配器、最后八个Transformer层及嵌入矩阵,并采用分层学习率。在10亿token预算下,该方法使四项阿拉伯语基准平均分提升3.51分,而同等条件下使用原始网络文本的CPT未带来任何增益。
在50亿token受控对比实验中,AQL-Lite达到73.19的四基准均分,相当于全参数CPT(73.58)94%的性能提升,但仅耗时其52%;且在全部基准上均优于纯适配器基线。进一步扩展至400亿MSA token并经100万条指令微调后,所获12B参数模型在Open Arabic LLM Leaderboard v2(七项基准)中得分75.3。
论文指出,消融分析证实RS-LoRA适配器、解冻的底层模块及嵌入矩阵训练三者均有独立贡献。研究结论强调:在精心筛选语料基础上实施部分参数CPT,是一条切实可行的高效MSA大模型适配路径。