基于合并的词汇扩展在预分词器阶段停滞不前：一种用于尼泊尔语的英语保留修复方法，并已在持续预训练中得到验证

arXiv：2610.33016v1 发布类型：新 摘要：Llama-3、Qwen3 以及许多其他开源大型语言模型，均采用一种仅允许 Unicode 字母作为词类的正则表达式对文本进行预分词。由于天城文元音符号属于组合标记，该正则表达式会在每一个元音符号处切分尼泊尔语单词，因此使用该正则的模型在处理尼泊尔语文本时所消耗的 token 数量，是同等英文文本的 2.6 至 5.8 倍。基于合并的词汇扩展方法无法将被切分的片段重新拼接：对于 Llama-3 和 Qwen3 而言，无论新增多少次合并操作，其额外开销始终难以降至约 2.2 的阈值以下；而即便是已发布的十次扩展，其性能也仅比这一预分词基准低不到 4%。我们针对已部署的正则表达式提出了一项小幅修改，经证明能够在不包含组合标记或天城文字符的情况下，确保每个 token ID 的完整性。通过新增 32,000 次合并，该方法使尼泊尔语与英语的 token 开销比降至 1.01 倍，且