2026年10月24日，一篇题为《Delta N-gram: Forward-Only Continual Writing into a Language Model's Native N-gram Memory》的研究论文在arXiv平台发布（编号arXiv:2610.31125v1），提出Delta N-gram方法，旨在实现对语言模型原生哈希N-gram表的安全、高效、可逆持续写入。
该方法严格保护预训练表T⁰不变，所有新知识均以稀疏补丁Δ形式写入对应行；一个4.1M参数的writer模块在离线阶段按预训练目标训练，运行时仅需前向传播，且清除Δ即可完全恢复原始模型。在0.6B规模原型上，Delta N-gram在二次写入后仍保持16/16事实，显著优于在线梯度写入的2–4/16。
研究对比了两种writer：plain writer（仅依赖T⁰）与delta writer（编码时读取当前内存）。在Qwen3.8-Flash-Next上的实验显示，delta writer的记忆更具文档特异性，受16篇干扰文章影响后保留率（70%）高于plain writer（54%）；在35,000次七任务链写入中，delta writer层2数学任务漂移更低（176% vs 188%），准确率下降更小（-0.26pp vs -0.52pp），且小-k_i漂移（17.9%/17.5%）远低于梯度更新（39.2%）。此外，研究发现格式相关行易引发严重漂移（增长至预训练范数的4–12倍），而零化其中8行即可消除超98%的层2数学漂移及相应NLL增益。