実際の文書改訂におけるチャンク再計算:固定型、再帰型、および内容定義型チャンキングの更新コストと検索品質の測定
arXiv:2610.31019v1 公告タイプ:新規 要旨:リトリーバル拡張生成におけるチャンキング戦略は、ほとんどの場合静的なスナップショット上で評価されるが、知識ベースの基盤となる文書は常に変化し続けている。チャンクは独立して埋め込まれるため、編集後に境界が移動すると、変更されていないテキストも再び埋め込み直す必要が生じる。我々は、厳密なバイト単位での同一性維持ルールおよび固定された稠密エンコーダーを前提として、3種類の状態非依存型チャンカー(重複しない固定サイズ型、再帰的段落優先型、および内容定義型)について、中国語および英語のWikipediaにおける120組の隣接する改訂ペアを対象に、この更新コストを測定した。116記事からなる共通成功プールにおいて、パラメータを固定し長さを調整した条件下で、固定サイズ型チャンキングは新しいバージョンの埋め込み入力全体のワークロードの57〜68%を再計算することになる。再帰的チュー
