見出し・要約・本文から、情報のつながりを探します。
vLLMセマンティックルーターは、270億パラメータ規模のオープンウェイトなマルチモーダル意思決定モデルであるd3-ultraをリリースしました。同モデルはテキスト、画像、動画を一度に読み込み、各回答に対する確率を返却し、チームのSR-Textテストで87.2点を獲得しています。この記事「vLLMセマンティックルーター、270億パラメータ規模のオープンマルチモーダル意思決定モデルd3-ultraをリリース」は、MarkTechPostに最初に掲載されました。
京東広告は華為の鲲鵬と協力し、霊衢相互接続を活用して300TB規模の共有メモリプールを構築、RPC通信を再構築することで、エンドツーエンドの推論遅延を15％低減しました。また、KVキャッシュおよびRPCの性能が大幅に向上し、2026年の618大促における主要なシナリオでトラフィックの5％による検証も実施されています。さらに、この協業は検索・推薦といったサーチ＆レコメンデーションの各シーンへ波及しており、SuperCacheやAgentサンドボックスなど、Agentic AIの先端分野にも展開しています。
注目する理由：この報道は、2026年10月26日にtmtpost.comが公開したオリジナルの技術ニュースに基づいており、実際の導入事例に焦点を当てた技術連携について述べています。具体的には、協業主体（JD広告／Huawei Kunpeng）、技術的アプローチ（Lingqu Interconnect、二段階キャッシュ、UBプロトコルによるURMAへの直接接続）、定量的な効果（遅延が15％削減、TP99の最適化率が85％超）、検証されたシナリオ（618セール時のトラフィックの5％）および今後の進化計画（SuperCache、Agentサンドボックス）を明示しています。すべての重要な事実は資料内で相互に裏付けられており、外部からの補足情報や主観的な推論は一切含まれていません。
清華大学と香港中文大学の研究者らは、2026年10月26日、SGLangを基盤とし、大規模言語モデル（LLM）エージェント向けに設計されたKVキャッシュ用のエンジニアリングサーバーであるAKVをオープンソース化しました。このシステムは、従来のテキスト履歴の要約ではなく、エージェントが自らKVキャッシュを積極的に破棄・再配置することで、4つのエージェントベンチマークにおいて推論コストを平均27.7％削減し、タスクの平均スコアを1.7ポイント向上させました。コードはApache-2.0ライセンスのもとで公開されており、現在はQwen、GPT-OSS-120B、MiniMax-M2.7などのモデルをサポートしています。
注目する理由：この成果は、LLMエージェントによる効率的な推論の新たなパラダイムを示しています。テキストの切り捨てや要約に依存する「コンテキストエンジニアリング」とは異なり、AKVはKVキャッシュ状態を直接操作することで、重複したプリフィルを回避し、長距離間の相互作用におけるKV負荷を大幅に軽減します。実測では、高並行負荷下でP95遅延が229.9秒から30.6秒へと短縮され、明確な工学的価値と再現性を備えています。情報源はMarkTechPostが公開した権威ある技術レポートであり、公開日時（2026-10-26T07:56:45Z）は現在時刻と一致しており、最新の公表進展です。
本記事では、Underdogが公開したSaluki 27Bモデル——7.9 GBの2ビット量子化を採用したQwen3.8-27Bの変種——について紹介します。同モデルはISTA-DASLabのGSQ-RCO手法を用いて構築されており、120タスクにおけるBFCL v4ツール呼び出しベンチマークにおいて、元の54 GBのフル精度モデルを上回るとされています。ただし、すべての性能に関する結論は開発者による声明に基づくものであり、独立した検証は行われていません。
llama.cpp プロジェクトはビルドバージョン b11869 をリリースしました。主な修正点は、Jinja テンプレートにおける select 関数および selectattr 関数の引数解析ロジックであり、macOS、Linux、Windows、Android、iOS、および openEuler に対応した数十種類のハードウェアとバックエンドの組み合わせをカバーするプリコンパイル済みバイナリパッケージを提供しています。
llama.cpp v2.45.0（タグ b11868）が正式にリリースされ、主要な更新点として、Hexagon バックエンドに KV-head のグループ分割メカニズムを導入してマルチコア HMX Flash Attention の性能を最適化し、FA の分割制御フラグを統一しました。同時に、macOS、Linux、Windows、Android、iOS、openEuler など、全プラットフォーム向けのバイナリパッケージを提供しており、CUDA 12/13、Vulkan、ROCm、OpenVINO、SYCL、Snapdragon（Adreno＋Hexagon）など、複数のバックエンドに対応しています。
llama.cpp が GitHub 上で正式にバージョン b11867 をリリースしました。主要な変更点として、サーバー側のエントリーポイントの再構築（PR #31113）と、server_role 機構の追加が挙げられます。また、macOS、Linux、Windows、Android、iOS、openEuler を対象とした 40 種類以上の事前ビルド済みバイナリパッケージを提供しており、CPU、CUDA（12.4/12.8/13.4）、Vulkan、ROCm 10.0、OpenVINO、SYCL（FP16/FP32）、Snapdragon（Adreno+Hexagon）など、多様なハードウェアバックエンドをサポートしています。
llama.cpp プロジェクトはビルドバージョン b11865 をリリースし、主要な変更点として、RDMA 受信ロジックにメモリ境界チェックを追加（PR #30399）するとともに、ハードウェアアクセラレーションのサポートを大幅に拡張しました。これにより、CUDA 13.4、ROCm 10.0、Vulkan、OpenVINO、SYCL、さらに Qualcomm Snapdragon（CPU＋Adreno＋Hexagon）によるフルスタックの異種計算バックエンドが対象となります。なお、macOS における KleidiAI のサポートおよび openEuler 上でのビルドは、明示的に DISABLED とマークされています。
llama.cpp v.b11861 では、minimax-m3 モデルにおいて NVFP4/MXFP8 の量子化下でスケールテンソルが計算グラフに注入されないために生じていた重みの歪み問題を修正し、『token soup』や残差の埋没を回避しました。また、macOS、Linux、Windows、Android、iOS、openEuler を網羅するマルチプラットフォーム対応のバイナリビルドも同時に提供されています。
Hugging FaceはAnyLanguageModel 1.0を正式にリリースし、Apple Foundation Models APIと完全互換のオープンソースSwiftフレームワークを提供しています。ローカル（MLX、llama.cpp、Core ML）およびホスティング（OpenAI、Anthropic、Gemini、Hugging Face Inference Providersなど）のモデル間でシームレスに切り替えられるほか、画像入力、ツール呼び出し、ガイド付き生成、推論ブロックの自動適応などの新機能も追加されました。
