跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

FlatCake:一种用于大语言模型推理的扁平化KV缓存存储架构

arXiv:2610.38355v1 发布类型:新摘要:KV缓存复用能够加速大语言模型的推理,但现有系统将主机DRAM和NVMe SSD视为分层结构,其中DRAM充当中间缓存。然而,实际的大语言模型工作负载打破了这一分层结构的两个前提。首先,双模态复用使DRAM的时间过滤失效,因为工作负载要么由具有较长复用距离的一次性块主导,要么由超过DRAM容量的数GB级智能体会话主导,从而将SSD置于关键的读取路径上。其次,DRAM的暂存与按驱逐顺序布局导致SSD恢复出现瓶颈。为在途前缀保留主机暂存缓冲区会在负载下引发争用,进而中止预取操作;而增量式驱逐则会将会话的块分散到整个SSD上,阻碍大规模顺序读取。我们 p

事件进展与其他报道

SLICE-Mem:用于高效LLM智能体记忆的显著性门控轻量级信息策展

arXiv:2610.33015v1 发布类型:新 摘要:长期记忆使大型语言模型(LLM)代理能够维持个性化且时间上连贯的交互,但为实现记忆的接纳、提取与组织而反复调用LLM进行推理,会带来显著的成本与延迟。我们提出了SLICE-Mem,一个轻量级的记忆框架,它将基于显著性引导的接纳与基于谓词的信息提取相结合。一个紧凑的分类器用于识别值得保留的用户发言,而基于语义依赖关系的提取器则将被接纳的发言转化为简洁的记忆条目。这一在线处理流程无需调用生成式LLM,同时跨条目的一致性校验被推迟至离线的整合阶段。我们在Memora和LongMemEval-S的每周子集上,使用8B a对SLICE-Mem进行了评估

事件进展与其他报道

超越策略内与策略外:LLM智能体蒸馏应在何种层次上遵循学生模型?

arXiv:2610.31918v1 发布类型:新 摘要:对交互式大型语言模型代理进行蒸馏时,需要在教师生成的示范与学生生成的经验之间做出选择,这大致对应于离策略蒸馏与在策略蒸馏。尽管两者都被证明是有效的,但我们认为这种区分本质上具有层次性:引发交互历史的策略未必与生成当前动作的标记前缀的策略相同。我们提出了一种分层代理蒸馏框架,将这两种层次的在策略性加以形式化,并允许对其配对方式、混合比例以及训练计划进行显式控制。我们通过自蒸馏来研究这一问题,在自蒸馏中,冻结的教师能够获得学生无法获取的任务指导,而

Beyond On-Policy vs. Off-Policy: At What Level Should LLM Agent Distillation Follow the Student?
事件进展与其他报道

研究通过奇异值谱干预调控大语言模型能力分布:Llama与Qwen模型实证分析

一项发表于2026年10月24日arXiv(编号2610.30676v1)的AI研究,对五种开源Llama和Qwen指令微调模型实施后置奇异值谱平滑与尖峰扰动,发现该轻量干预可系统性重塑模型在事实知识、语言理解与演绎推理三类能力上的表现权衡。

Spectral Smoothing and Spiking Perturbations Reconfigure Capability Profiles and Selective Task Performance in Large Language Models

推荐理由:该论文首次在多模型、多任务框架下实证验证了变压器前馈层奇异值谱结构对下游能力的因果影响,揭示了能力配置的结构性敏感规律,为模型能力解耦与可控编辑提供了新路径;所有结论均基于公开模型与标准评测,方法透明、评估维度全面。

事件进展与其他报道