基于状态空间编码的线性时间上下文压缩

arXiv:2610.33006v1 发布类型：新 摘要：基于Transformer的大型语言模型（LLMs）在上下文长度增加时会带来巨大的计算与内存开销，这促使人们研究在推理前将上下文压缩为更短表示的方法。现有的软提示压缩方法通常采用与目标模型相同的Transformer主干架构，而在生成压缩表示的过程中会产生显著的延迟开销。这使得这些方法仅适用于离线场景——即上下文被一次性压缩后，在多次查询中重复使用。我们提出了Boa压缩器，这是一种即插即用的在线上下文压缩器，基于Mamba状态空间模型（SSM）构建，能够在一次线性时间的遍历中编码任意长度的上下文，并生成一个可用于后续条件化的表示……