本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

llama.cpp がバージョン b11871 をリリース:サービスのクラッシュを防ぐため、JSON のネスト深度に制限を追加

llama.cpp のバージョン b11871 では、重要なセキュリティ修正が導入され、リクエスト内の JSON のネスト階層に対して 128 層のハード制限を設けることで、深い再帰的解析による HTTP スレッドスタックのオーバーフローおよびサービスのクラッシュ(macOS では SIGBUS、Linux では SIGSEGV をトリガー)を防止しています。この対策は、chat インターフェースの複数の入力シナリオに適用され、統一的に HTTP 400 エラーを返します。

経緯と関連報道

llama.cpp が b11870 バージョンをリリースし、DeepSeek-V4.1-Flash モデルを正式にサポートしました

llama.cppはバージョンb11870において、DeepSeek-V4.1-Flash(deepseek41)モデルへの対応を追加し、そのEngramアーキテクチャに対してKVキャッシュ計算の簡略化、BF16精度によるMXFP8代替、in-graph行gatherなど、複数の低レベル最適化を施しました。同時に、macOS、Linux、Windows、Android、iOSおよびopenEulerを網羅するマルチプラットフォームのバイナリビルドも提供しています。

経緯と関連報道

llama.cpp が b11868 バージョンをリリース:Hexagon NPU のマルチコア Flash Attention に対するサポートを強化し、全プラットフォームでのコンパイルとビルドを網羅

llama.cpp v2.45.0(タグ b11868)が正式にリリースされ、主要な更新点として、Hexagon バックエンドに KV-head のグループ分割メカニズムを導入してマルチコア HMX Flash Attention の性能を最適化し、FA の分割制御フラグを統一しました。同時に、macOS、Linux、Windows、Android、iOS、openEuler など、全プラットフォーム向けのバイナリパッケージを提供しており、CUDA 12/13、Vulkan、ROCm、OpenVINO、SYCL、Snapdragon(Adreno+Hexagon)など、複数のバックエンドに対応しています。

経緯と関連報道

llama.cpp がバージョン b11867 をリリース:サーバーエンジンのエントリーポイントを再構築し、マルチプラットフォームと異種アクセラレーションバックエンドを全面的にサポート

llama.cpp が GitHub 上で正式にバージョン b11867 をリリースしました。主要な変更点として、サーバー側のエントリーポイントの再構築(PR #31113)と、server_role 機構の追加が挙げられます。また、macOS、Linux、Windows、Android、iOS、openEuler を対象とした 40 種類以上の事前ビルド済みバイナリパッケージを提供しており、CPU、CUDA(12.4/12.8/13.4)、Vulkan、ROCm 10.0、OpenVINO、SYCL(FP16/FP32)、Snapdragon(Adreno+Hexagon)など、多様なハードウェアバックエンドをサポートしています。

経緯と関連報道

llama.cpp が b11866 バージョンをリリース:Metal バックエンドの冗長な AMAX スケーリングロジックを削除し、MoE の計算パスを簡素化しました

llama.cpp v.b11866 では、Metal バックエンドに実装されていた時代遅れの src1 の2のべき乗による AMAX スケーリング機構が削除され、代わりに計算グラフ内でのより細粒度なエキスパートごとのトークン単位の amax スケーリングに依存するようになりました。これにより、MoE 下における投影後の活性化値が f16 表現の範囲内に収まることが保証されます。同時に、関連する二段階リダクションカーネル、F32 精度のスケジューリング、および境界外アクセスを検出するテストケースも削除されました。

経緯と関連報道

llama.cpp がバージョン b11861 をリリース:minimax-m3 モデルの量子化スケーリングテンソルが伝達されないことで生じる推論エラーを修正

llama.cpp v.b11861 では、minimax-m3 モデルにおいて NVFP4/MXFP8 の量子化下でスケールテンソルが計算グラフに注入されないために生じていた重みの歪み問題を修正し、『token soup』や残差の埋没を回避しました。また、macOS、Linux、Windows、Android、iOS、openEuler を網羅するマルチプラットフォーム対応のバイナリビルドも同時に提供されています。

経緯と関連報道