本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

b11980

[SYCL] 量子化されたKVキャッシュ向けのDPASフラッシュアテンションカーネルを追加(#31125)* sycl:量子化されたKVキャッシュ向けのDPASフラッシュアテンションカーネルを追加 デコードおよび小規模バッチ(クエリトークン数1〜31)は、現在、各呼び出しでスカラーによるデクアンティゼーションやキャッシュ全体をf16に変換するのではなく、q4_0およびq8_0のKVブロック上で直接フラッシュアテンションを実行しています。Q.KではXMX上でs8×s4およびs8×s8のDPASを使用し、V.Pはf16のままです。dpas.s4.s8はjoint_matrixにs4がないため、インラインvISAとなっています。ヘッドサイズ64から512、GQA最大32、アテンションシンクに対応しています。プロンプトは既存のカーネルのままです。GGML_SYCL_FA_DPAS=0に設定すると無効になります。B580、Llama 3.1 8B Q4_K_M、q4_0 KV、tg128:16Kコンテキストにおいて、31.3〜54.2 t/sを実現しました。FLASH_ATTN_EXT 4582/4584、マスターと同じく2件の失敗が確認されています。補助者:Claude * sycl:ヘッド数192を削減、ドキュメントにWildcat Lakeを追加 補助者:Claude * sycl:str

経緯と関連報道