本文を準備中です。原文をご確認ください。
AI NEWS JOURNAL
AI NEWS / ONE EVENT. MANY PERSPECTIVES.
llama.cpp · b12034
webgpu:バッチ長に応じてスクラッチ割り当てサイズを単調に保つことでCIを修正(#31422) * webgpu:バッチ長に応じてスクラッチ割り当てサイズを単調に保つ フラッシュアテンションのベクトルパスとMMVQパスでは、dstの後にスクラッチ領域を追加しているが、get_alloc_sizeは現在のバッチがそのパスを採用する場合にのみこれを考慮していた。そのため、サイズはバッチ長に対して単調でなく、n_ubatch(タイリングパス、スクラッチなし)や1トークンで予約されたグラフでは、クエリ行数が2~19のバッチをカバーできず、GGML_SCHED_NO_REALLOCによるビルドが予期せぬ再割り当てによって中止される問題が生じていた。行数を両方のパス判定条件に渡し、短いパスが対象とする最長バッチの行数に制限した上でスクラッチサイズを設定するように修正した。 * 詳細:mmvqパイプラインのキーをclang-format 22に合わせる * webgpu:@yomaytkへのレビュー対応、mat-vecの行を命名