arXiv:2610.33006v1 発表タイプ：新規
要旨：Transformerベースの大型言語モデル（LLM）は、コンテキストサイズが増加するにつれて計算負荷とメモリ消費が大幅に増大するため、推論前にコンテキストをより短い表現へ圧縮する手法が求められています。既存のソフトプロンプト圧縮手法は、通常、対象モデルと同じTransformerバックボーンを用いており、圧縮表現の生成には大きなレイテンシオーバヘッドが伴います。このため、これらの手法は、一度圧縮しておき、その後多くのクエリで再利用するオフライン環境に限定されています。 本研究では、任意長のコンテキストを単一の線形時間のパスで符号化し、その表現を用いて凍結済みの対象LLMを条件付けることができる、Mamba状態空間モデル（SSM）に基づくプラグアンドプレイ型のオンラインコンテキスト圧縮手法「Boa Compressor」を提案します。SSMは、フルコンテキストを入力したLLM（教師）から得られる次のトークンのロジット分布と、圧縮された表現を入力した同一LLM（学生）のロジット分布を一致させるディスティレーション学習によって訓練されます。 同等の圧縮率において、Boaは既存の最先端のオフライン圧縮ベースラインと同等またはそれ以上の性能を示す一方で、Transformerベースの実装に比べて桁違いに高速であり、結果として圧縮処理にかかる時間を追加するのではなく、エンドツーエンドのレイテンシを低減します。さらに、Boaはより長いコンテキストや最大16倍という極めて高い圧縮率にも良好にスケールすることを実証しています。 推論時の各クエリごとに実行しても十分なコストで効果的な圧縮を可能にするため、Boaは長コンテキストでの効率的な推論を実現する実用的かつ汎用的なツールとなります。