llama.cpp · b12059
llama : flash_attn_ext_rows - 複数シーケンス用の統一されたkvをより効率的に実装 (#29510) * llama : 統一アテンションのために llm_attn_mask と kv_rows を使用 Assisted-by: dsh:llama.cpp/ggml-org/DeepSeek-V4-Flash-Vision-Exp-GGUF (Mac Studio, M2 Ultra, 192GB) Co-authored-by: Georgi Gerganov * cont : `get_seq_cells` を最適化 * llama : 各シーケンスごとのセルビットマップから kv_rows リストを構築する 各シーケンスごとにセルのビットマップ（`seq` の転置）を保持し、seq_pos_inc/dec で更新して、そのセットビットを走査することでセルリストを構築します。リストはセル順に保たれ、複数のシーケンスで共有されるセルはすべてのリストに含まれ、セルが削除されても再構築する必要はありません。また、スライスの各トークンから SWA が隠すセル（標準およびチャンク化された SWA）もリストから除外します。 * cont : get_kv_rows_ を作成
