AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

2026-11-03

llama.cpp のリリース00:10

llama.cpp · b12048

sycl：Intel Arc Pro B70sでのggml_sycl_comm_exchange()の高速化（#30956）* ggml-sycl.cppを更新 PPLの変化なしで、-smテンソルプロンプト評価の速度を19%向上。 * ggml-sycl.cppを更新 wait()呼び出しの最初のペアをext_oneapi_submit_barrier()に置き換え。wait()呼び出しがMTPの低下を引き起こすことが判明したため。 * ggml-sycl.cppを更新初期化時（ホットパスではなく）にSYCL_ENABLE_DEFAULT_CONTEXTS=1設定で制御される、2バッファと4バッファのggml_sycl_comm_exchangeバージョン間の切り替え用にcomm_exchange関数ポインタを追加。 * ggml-sycl.cppを更新 4バッファフリーの後半部分を復元。 * ggml-sycl.cppを更新追加の空白を削除。 * ggml-sycl.cppを更新 Windows向けはWindowsでの検証が完了するまで除外。 **ウェブサイト：** - **認証：** - **macOS/iOS：** - [macOS Apple Silicon (arm64)](h

経緯と関連報道

2026-10-29

llama.cpp のリリース15:10

b11980

[SYCL] 量子化されたKVキャッシュ向けのDPASフラッシュアテンションカーネルを追加（#31125）* sycl：量子化されたKVキャッシュ向けのDPASフラッシュアテンションカーネルを追加デコードおよび小規模バッチ（クエリトークン数1〜31）は、現在、各呼び出しでスカラーによるデクアンティゼーションやキャッシュ全体をf16に変換するのではなく、q4_0およびq8_0のKVブロック上で直接フラッシュアテンションを実行しています。Q.KではXMX上でs8×s4およびs8×s8のDPASを使用し、V.Pはf16のままです。dpas.s4.s8はjoint_matrixにs4がないため、インラインvISAとなっています。ヘッドサイズ64から512、GQA最大32、アテンションシンクに対応しています。プロンプトは既存のカーネルのままです。GGML_SYCL_FA_DPAS=0に設定すると無効になります。B580、Llama 3.1 8B Q4_K_M、q4_0 KV、tg128：16Kコンテキストにおいて、31.3〜54.2 t/sを実現しました。FLASH_ATTN_EXT 4582/4584、マスターと同じく2件の失敗が確認されています。補助者：Claude * sycl：ヘッド数192を削減、ドキュメントにWildcat Lakeを追加補助者：Claude * sycl：str

経緯と関連報道