EvoCache：パブリックキャッシュアンカーによるブラウザ上での大規模言語モデル配信の高速化
arXiv:2611.04638v1 発表タイプ：新規 要旨：大規模言語モデル（LLM）はブラウザ上で直接実行可能ですが、通常はまず数百MiB、場合によっては数GiBにも及ぶモデルファイルをダウンロードする必要があります。同じLLMが異なるパブリッシャーによって再パッケージ化されることが多く、これらのファイルは内容の大部分を共有していますが、バイトレベルでの差異により、フルファイルキャッシュによる再利用はできません。そこで我々は、ブラウザ管理型のLLM配信システムであるEvoCacheを提案します。EvoCacheは、ブラウザが閲覧履歴とは独立して事前に保存しておく公開キャッシュアンカーを利用し、サイトが要求したパブリッシャー版を無損失で再構築します。サイトは対象のみを指定し、ブラウザがアンカーを選択して再構築を実行することで、両者をサイトから隠蔽します。1,000の公開リポジトリを調査した結果、人気上位100のLLMのうち61が複数のパブリッシャーによって提供されており、重複するバージョンの98.1%がフルファイルキャッシュでは再利用できないことが判明しました。23組のクロスパブリッシャーモデルパッケージにおいて、EvoCacheはトラフィックを中央値で77.3%削減し、すべての比較対象を上回りました。240件の実際のエンドツーエンドブラウザ実験では、EvoCacheは通常のフルダウンロードに比べてネットワークトラフィックを78.9%、ページ準備時間を64.2%削減しました。他のサイトが残したキャッシュデータについても、EvoCacheはヒット時とミス時の返却時間を同一にすることで、ユーザーのクロスサイト間キャッシュプライバシーを保護します。
