跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

新研究提出跨语言贫刺激(CPOS)实验范式,揭示语言模型层级泛化能力的有条件迁移

2026年10月24日,arXiv发布论文2610.30960v1,提出跨语言贫刺激(CPOS)实验设计,用于量化语言模型在跨语言持续训练中将源语言(L1)的层级结构证据迁移至目标语言(L2)的能力。实验表明该迁移部分成立但不完美,且高度依赖语言对及词汇重叠程度。

2026年10月24日,一篇题为《Once a Tree, Always a Tree? Cross-lingual Transfer of Hierarchical Generalization in Language Models》的研究论文在arXiv平台以编号2610.30960v1正式发布。该研究聚焦语言模型(LMs)跨语言迁移中尚未厘清的核心机制:模型能否将源语言(L1)中习得的层级语法结构证据,有效迁移到目标语言(L2),从而支撑L2的层级泛化能力。

为验证这一假设,研究团队设计了全新的‘跨语言贫刺激’(CPOS)实验范式:在L2语料库中刻意构造线性与层级语法规则的歧义性,同时严格控制L1中支持层级规则的正向证据量。结果表明,语言模型能部分而非完全地将L1的层级结构证据迁移至L2,仅产生微弱但可检测的层级偏好;且迁移强度随语言对不同而变化。

进一步消融分析发现,词汇重叠是跨语言层级句法泛化迁移的关键条件——这一发现不仅解释了主实验中语言对依赖性的成因,也表明语言模型在新增语言持续训练中对语言学证据的迁移并非自动发生,而是高度依赖特定条件,具有显著的局限性。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态