跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

FlatCake:一种用于大语言模型推理的扁平化KV缓存存储架构

arXiv:2610.38355v1 发布类型:新摘要:KV缓存复用能够加速大语言模型的推理,但现有系统将主机DRAM和NVMe SSD视为分层结构,其中DRAM充当中间缓存。然而,实际的大语言模型工作负载打破了这一分层结构的两个前提。首先,双模态复用使DRAM的时间过滤失效,因为工作负载要么由具有较长复用距离的一次性块主导,要么由超过DRAM容量的数GB级智能体会话主导,从而将SSD置于关键的读取路径上。其次,DRAM的暂存与按驱逐顺序布局导致SSD恢复出现瓶颈。为在途前缀保留主机暂存缓冲区会在负载下引发争用,进而中止预取操作;而增量式驱逐则会将会话的块分散到整个SSD上,阻碍大规模顺序读取。我们 p

事件进展与其他报道

这位十七岁的少年写下了哪个答案?——六款前沿语言模型中作者年龄误归因、信心校准失当与非纠正性自我解释的行为学案例研究

arXiv:2610.31946v1 发布类型:新 摘要:三名学生亲手回答了同一道考试题目:“什么是幸福?你幸福吗?”他们在收集时的年龄分别为17岁、28岁和45岁。其中,17岁的学生的答案措辞谨慎、表达正式。在要求将每份答案匹配到特定年龄与性别标签的任务中,大多数前沿语言模型都自信地将其归为成年人。本文报告了一项针对这一失败现象的结构化案例研究,涉及六种模型:Claude Fable 5、Gemini 3.1 Pro、GPT-5.6 Sol、Grok 4.5、GPT-4o(2024)以及 DeepSeek V4。我们共进行了1,081次API调用,在六个实验条件下对3,225条回复进行了评分,这些条件分别调整了表述方式、披露格式以及受众意识相关指令。在匹配任务中,六种模型中有三种的表现接近或处于随机水平(1/3),同时报告的准确率却高达73%至88%。

事件进展与其他报道

可复现的评估作为生产型智能体中安全提示压缩的基石

arXiv:2610.31972v1 发布类型:新 摘要:评估那些基于实时、动态变化的企业数据运行的对话代理十分困难:由于后端状态不断更新,重放的会话会逐渐偏离真实情况;而今天构建的基准测试,随着其所描述的数据不断演进,也可能在不知不觉中变得过时。我们提出了一种针对生产级对话代理的离线评估框架,该框架能够在所操作的实时数据发生变化的情况下保持可复现性,并且在基准过时时能够按需重新生成。随后,我们将这一框架用作基于GEPA的提示优化的适应度函数,并通过一个正确性约束机制来防范奖励欺骗。将其应用于一款面向商家的生产级代理后,经过正确性约束的压缩处理,可在不降低保留任务正确率的前提下,将代理的完整提示空间缩小3.5%至7.6%。

Reproducible Evaluation as the Substrate for Safe Prompt Compression in Production Agents
事件进展与其他报道