科利布里：帕累托前沿上的主权欧洲模型

arXiv：2610.31945v1 发布类型：新 摘要：本报告介绍了 Kolibri，一种英德混合专家Transformer模型，总参数量为781亿，每token的活跃参数量为34.6亿，并以Apache 2.0许可证公开发布其权重。我们构建Kolibri旨在支持主权化与专业化部署，尤其聚焦于德语以及公共管理、工业和航空航天等受监管领域。为满足这些应用场景，我们全程把控模型研发流程，涵盖数据、架构、训练基础设施、后训练阶段及评估环节。我们在预训练、中期训练和长上下文扩展三个阶段累计使用24T tokens进行训练，其中德语数据在字节层面占比超过20%。为实现这一比例，我们通过补充德语数据集来