見出し・要約・本文から、情報のつながりを探します。
arXiv:2610.33275v1 発表タイプ：新規 要旨：計算ノートブックはセッション全体にわたってGPUを占有しますが、GPUが計算を行うのはセルが実行中であり、それ以外の時間はアイドル状態です。サーバーレス実行であれば、セル間でGPUを解放できますが、新しいワーカー上で蓄積されたノートブックの状態を再構築するには、各GPUセルごとに大きなコストが伴います。本論文では、対話型ノートブック向けのサーバーレスGPUプラットフォームであるLooseLeafを提案します。LooseLeafは、各セルの状態とインポートクロージャー、すなわちそのセルが必要とする最小限の変数やパッケージを導出します。5,000件の実世界のノートブックに対する分析から、これらのクロージャーは小さく、ユーザーによるセルの編集によって準備に要する時間は数秒程度であることが示されています。LooseLeafは、ユーザーがセルを編集している間に、これらのクロージャーを用いてGPUワーカーを準備します。実行後、ワーカーは…
清華大学と香港中文大学の研究者らは、2026年10月26日、SGLangを基盤とし、大規模言語モデル（LLM）エージェント向けに設計されたKVキャッシュ用のエンジニアリングサーバーであるAKVをオープンソース化しました。このシステムは、従来のテキスト履歴の要約ではなく、エージェントが自らKVキャッシュを積極的に破棄・再配置することで、4つのエージェントベンチマークにおいて推論コストを平均27.7％削減し、タスクの平均スコアを1.7ポイント向上させました。コードはApache-2.0ライセンスのもとで公開されており、現在はQwen、GPT-OSS-120B、MiniMax-M2.7などのモデルをサポートしています。
注目する理由：この成果は、LLMエージェントによる効率的な推論の新たなパラダイムを示しています。テキストの切り捨てや要約に依存する「コンテキストエンジニアリング」とは異なり、AKVはKVキャッシュ状態を直接操作することで、重複したプリフィルを回避し、長距離間の相互作用におけるKV負荷を大幅に軽減します。実測では、高並行負荷下でP95遅延が229.9秒から30.6秒へと短縮され、明確な工学的価値と再現性を備えています。情報源はMarkTechPostが公開した権威ある技術レポートであり、公開日時（2026-10-26T07:56:45Z）は現在時刻と一致しており、最新の公表進展です。
