本文へ移動
AI NEWS JOURNAL
ONE EVENT. MANY PERSPECTIVES.

llama.cpp · b11922

tests : fix multi-seq split replay and partial-state cases for trained models (#31216) * tests : fix multi-seq split replay against trained models The rollback snapshot is captured by the graph that decoded the rolled-back tail, while the reference context decodes the same prefix with different batch shapes. The two states differ in the last bits and trained models amplify the difference with every replayed token. Compare only the first replayed token of each seq, then restore the rollback state into the reference context before the seq-1-only tail. Assisted-by: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) * tests : require bit-exact seq-1 isolation in split replay The seq state save is not always bit-lossless - SWA-masked cells are not saved - so reload the rest

1 件の独立した情報源 · 1 件の報道古い順 ↕
公開日時順

b11922

tests:訓練済みモデルに対するマルチシーケンス分割リプレイおよび部分状態のケースを修正(#31216)* tests:訓練済みモデルに対するマルチシーケンス分割リプレイを修正 ロールバック時のスナップショットは、ロールバックされた末尾をデコードしたグラフによって取得される一方で、参照コンテキストは異なるバッチ形状を持つ同じプレフィックスをデコードします。両者の状態は最後のビット部分で異なり、訓練済みモデルではリプレイされる各トークンごとにその差が拡大されます。各シーケンスの最初にリプレイされたトークンのみを比較し、その後、シーケンス1つ分だけの末尾が存在する前の状態を参照コンテキストに復元します。補助者:dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF(MacBook、M5 Max、128GB)* tests:分割リプレイにおいてビット単位で正確なシーケンス1の分離を要求 シーケンス状態の保存は常にビット損失なしとは限らず、SWAでマスクされたセルは保存されないため、残りの部分を再読み込みします

経緯と関連報道