EvoCache：パブリックキャッシュアンカーによるブラウザ上での大規模言語モデル配信の高速化

要旨：大規模言語モデル（LLM）はブラウザ上で直接実行可能ですが、通常最初に使用する際には数百MiB、場合によっては数GiBものサイズのモデルファイルをダウンロードする必要があります。同じLLMが異なるパブリッシャーによって再パッケージ化されることが多く、これらのファイルは内容の大部分を共有していますが、バイト単位での差異によりファイル全体のキャッシュによる再利用ができません。そこで我々は、ブラウザ管理型のLLM配信システムであるEvoCacheを提案します。EvoCacheは、ブラウザが閲覧履歴とは独立して事前に保存しておく公開キャッシュアンカーを使用し、サイトが要求したパブリッシャー版を無損失で再構築します。サイトは対象のみを指定し、ブラウザがアンカーを選択して再構築を行うため、両者はサイトから隠されています。1,000の公開リポジトリを調査した結果、人気上位100のLLMのうち61が複数のパブリッシャーによって提供されており、重複するバージョンの98.1%がファイル全体のキャッシュでは再利用できないことが分かりました。23組のクロスパブリッシャーモデルパッケージにおいて、EvoCacheはトラフィックを中央値で77.3%削減し、すべての比較対象を上回る性能を示しました。さらに240件の実際のエンドツーエンドブラウザ実験では、通常のフルダウンロードと比較してネットワークトラフィックを78.9%、ページ準備時間を64.2%削減しました。他のサイトが残したキャッシュデータについても、ヒット時とミス時の返却時間を同一にすることで、EvoCacheはユーザーのクロスサイトキャッシュプライバシーを保護します。 提出履歴 論文へのアクセス： PDFを表示 HTML（実験的） TeXソース 追加機能 音声要約 現在の閲覧コンテキスト： 参考文献・引用情報 Google Scholar Semantic Scholar ブックマーク 機関 arXivLabsは、共同研究者が当社ウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。 arXivLabsを利用する個人および組織は、当社の価値観を積極的に受け入れ、支持しています オープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシー。arXivはこれらの価値観を重視しており、それらを遵守するパートナーのみと協力しています。 arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsの詳細をご覧ください。