2026年10月24日、arXivプラットフォームに『Delta N-gram: Forward-Only Continual Writing into a Language Model's Native N-gram Memory』という題名の研究論文が掲載されました（ID: arXiv:2610.31125v1）。同論文は、言語モデルのネイティブなハッシュN-gramテーブルへの安全で効率的かつ可逆的な継続的書き込みを実現することを目的としたDelta N-gram手法を提案しています。
この手法は、事前学習済みテーブルT⁰を厳密に不変に保ち、新たな知識はすべてスパースなパッチΔの形で対応する行に書き込まれます。4.1Mパラメータのwriterモジュールはオフライン段階で事前学習の目的に従って学習され、実行時には前方伝播のみで済み、さらにΔを消去すれば元のモデルを完全に復元できます。0.6B規模のプロトタイプにおいて、Delta N-gramは二次的な書き込み後にも依然として16/16の事実を維持し、オンラインでの勾配書き込みによる2–4/16に比べて著しく優れています。
本研究では、plain writer（T⁰のみに依存）とdelta writer（書き込み時に現在のメモリを読み込む）の2種類のライターを比較した。Qwen3.8-Flash-Nextにおける実験結果は、delta writerの記憶が文書固有性をより強く持つことを示しており、16編の干渉文章の影響を受けた後の保持率（70%）はplain writer（54%）を上回った。また、35,000回にわたる7タスクのチェーン書き込みにおいて、delta writerは層2の数学タスクにおけるドリフトがより小さく（176%対188%）、精度低下もより小幅であった（-0.26pp対-0.52pp）ほか、小-k_iドリフト（17.9%/17.5%）は勾配更新（39.2%）に比べて大幅に低かった。さらに、フォーマット関連の行が深刻なドリフトを引き起こし得ること、そしてそのうち8行をゼロ化することで層2の数学ドリフトおよびそれに伴うNLLの増加を98%以上抑制できることが明らかになった。