科利布里：帕累托前沿上的主权欧洲模型

arXiv：2610.31945v1 发布类型：新

摘要：本报告介绍了Kolibri，一种英德混合专家型Transformer模型，总参数量为781亿，每token的活跃参数量为34.6亿，并以Apache 2.0许可证公开发布其权重。我们构建Kolibri旨在实现主权化与专业化部署，尤其聚焦于德语以及公共管理、工业和航空航天等受监管领域。为支持这些应用场景，我们全程把控模型研发流程，涵盖数据、架构、训练基础设施、后训练阶段及评估等环节。

我们在预训练、中等规模训练以及长上下文扩展阶段，以24T个标记对Kolibri进行训练，其中德语数据在字节层面占比超过20%。为实现这一比例，我们通过自有流水线从网络上筛选并合成生成了超过2T个德语标记，以补充德语数据集。后训练阶段则将基于精选德语和英语数据的监督微调，与在超过120万项内部精选任务上的强化学习相结合，这些任务涵盖推理、工具使用、指令遵循、代码编写及信息检索等领域。该模型每处理一个标记时会激活其参数的4.4%，而在本报告所评估的开源模型中，其在英语和德语场景下的质量与服务成本均处于帕累托前沿。

Kolibri 基于 Kolibri Origin 构建，后者是早期的一个版本，已在规模化场景下验证了我们的完整流水线。两款模型均源自我们的 Model Factory，该平台通过版本控制的工作流，将数据、实验、训练、评估与部署无缝衔接。