摘要：大型语言模型（LLM）可以直接在浏览器中运行，但通常需要先下载数百MiB甚至数GiB大小的模型文件。同一款LLM往往由不同发布者重新打包；这些文件内容高度相似，但由于字节级差异，导致全文件缓存无法复用它们。我们提出了EvoCache，一种由浏览器管理的LLM分发系统。EvoCache利用由浏览器预先存储且独立于浏览历史的公共缓存锚点，无损重建站点请求的发布者版本。站点仅需指定目标版本，浏览器则负责选择锚点并执行重建，整个过程对站点完全透明。对1,000个公开仓库的审计发现，在最受欢迎的100个LLM中，有61个由多个发布者提供，而其中98.1%的重叠版本无法通过全文件缓存实现复用。在23对跨发布者模型包组合中，EvoCache实现了77.3%的流量中位数降低，性能优于所有对比方案。在240项真实的端到端浏览器实验中，与普通完整下载相比，EvoCache将网络流量减少了78.9%，页面就绪时间缩短了64.2%。对于其他站点留下的缓存数据，EvoCache还通过为缓存命中和未命中使用相同的返回时间，有效保护了用户的跨站缓存隐私。 提交历史 访问论文： 查看PDF HTML（实验性） TeX源代码 附加功能 音频摘要 当前浏览上下文： 参考文献与引用 Google学术搜索 Semantic Scholar 书签 机构 arXivLabs是一个框架，允许合作者直接在我们的网站上开发和共享新的arXiv功能。 无论是个人还是与arXivLabs合作的组织，都已拥抱并认同我们的价值观 开放性、社区、卓越以及用户数据隐私。arXiv 致力于践行这些价值观，并且只与秉持相同理念的合作伙伴开展合作。 您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。
AI NEWS JOURNAL
arXiv cs.DCAI NEWS / JOURNAL
EvoCache：利用公共缓存锚点加速浏览器中的大语言模型交付
arXiv:2611.04638v1 公告类型：新 基础摘要：大型语言模型（LLM）可以直接在浏览器中运行，但通常需要先下载数百 MiB 甚至数 GiB 大小的模型文件。同一款 LLM 往往由不同发布者重新打包；这些文件内容高度相似，但字节级差异导致全文件缓存无法复用它们。我们提出了 EvoCache，一种由浏览器管理的 LLM 分发系统。EvoCache 利用由浏览器预先存储且独立于浏览历史的公共缓存锚点，无损重建站点请求的发布者版本。站点仅需指定目标，浏览器则选择锚点并执行重建，整个过程对站点保持透明。对 1,000 个公开仓库的审计发现，100 款最受欢迎的 LLM 中有 61 款由多个发布者提供，且 98.1% 的重叠版本无法通过全文件缓存复用。在 23 对跨发布者模型包组合中，EvoCache 实现了 77.3% 的流量中位数降低，性能优于所有对比方案。在 240 项真实的端到端浏览器实验中，与普通完整下载相比，EvoCache 将网络流量降低了 78.9%，页面就绪时间缩短了 64.2%。对于其他站点留下的缓存数据，EvoCache 还通过为缓存命中和未命中使用相同的返回时间，保护用户的跨站缓存隐私。
尚无对应语言译文，当前显示原文。