跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

AQL-Lite发布:面向现代标准阿拉伯语的高效大模型持续预训练框架

2026年10月24日,arXiv上线论文2610.30344v1,提出AQL-Lite框架,通过质量优先的数据筛选与部分参数持续预训练(CPT),显著提升多语言大模型对现代标准阿拉伯语(MSA)的适应效率。

2026年10月24日,一篇题为《AQL-Lite: Enabling Efficient Knowledge Acquisition for Arabic LLMs via Data-Centric Continual Pretraining》的论文在arXiv平台发布(编号2610.30344v1),正式提出AQL-Lite框架,旨在以更低时间与资源成本,将多语言大语言模型高效适配至现代标准阿拉伯语(MSA)。

AQL-Lite包含两大核心组件:一是质量优先的数据整理流程,涵盖结构清洗、启发式与模型驱动过滤、MSA文本识别及去重;二是部分参数持续预训练(CPT)策略,仅更新RS-LoRA适配器、最后八个Transformer层及嵌入矩阵,并采用分层学习率。在10亿token预算下,该方法使四项阿拉伯语基准平均分提升3.51分,而同等条件下使用原始网络文本的CPT未带来任何增益。

在50亿token受控对比实验中,AQL-Lite达到73.19的四基准均分,相当于全参数CPT(73.58)94%的性能提升,但仅耗时其52%;且在全部基准上均优于纯适配器基线。进一步扩展至400亿MSA token并经100万条指令微调后,所获12B参数模型在Open Arabic LLM Leaderboard v2(七项基准)中得分75.3。

论文指出,消融分析证实RS-LoRA适配器、解冻的底层模块及嵌入矩阵训练三者均有独立贡献。研究结论强调:在精心筛选语料基础上实施部分参数CPT,是一条切实可行的高效MSA大模型适配路径。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态