跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

FlatCake:一种用于大语言模型推理的扁平化KV缓存存储架构

arXiv:2610.38355v1 发布类型:新摘要:KV缓存复用能够加速大语言模型的推理,但现有系统将主机DRAM和NVMe SSD视为分层结构,其中DRAM充当中间缓存。然而,实际的大语言模型工作负载打破了这一分层结构的两个前提。首先,双模态复用使DRAM的时间过滤失效,因为工作负载要么由具有较长复用距离的一次性块主导,要么由超过DRAM容量的数GB级智能体会话主导,从而将SSD置于关键的读取路径上。其次,DRAM的暂存与按驱逐顺序布局导致SSD恢复出现瓶颈。为在途前缀保留主机暂存缓冲区会在负载下引发争用,进而中止预取操作;而增量式驱逐则会将会话的块分散到整个SSD上,阻碍大规模顺序读取。我们 p

事件进展与其他报道

Claude Mods:注意力接口的首次实践,人类可编程的代理交互层

Claude Mods 是 Anthropic 推出的 Claude Code 可编程插件系统,代表‘注意力接口’(Attention Interface)的早期形态——它将传统面向机器的代理运行时框架(agent harness),转向面向人类注意力的可定制交互层。用户可通过 TypeScript/JS 编写 Mods,或用自然语言让 Claude 自动生成,从而决定何时被中断、看到什么内容、需做哪些决策。

事件进展与其他报道

Claude Mods:可编程的注意力接口,重塑人与AI代理的协作范式

Claude Mods 是 Anthropic 推出的面向开发者的可编程插件系统,标志着‘代理运行时’(agent harness)从机器侧接口转向人类侧接口——即‘注意力接口’(Attention Interface)。它允许用户通过 TypeScript/JavaScript 自定义 Claude Code 的行为、渲染与交互逻辑,实现人与 AI 共同设计工作流。该机制已用于内置功能(如 You Should Know),并支持用户自主构建或由 Claude 辅助生成插件。

事件进展与其他报道