跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

FlatCake:一种用于大语言模型推理的扁平化KV缓存存储架构

arXiv:2610.38355v1 发布类型:新摘要:KV缓存复用能够加速大语言模型的推理,但现有系统将主机DRAM和NVMe SSD视为分层结构,其中DRAM充当中间缓存。然而,实际的大语言模型工作负载打破了这一分层结构的两个前提。首先,双模态复用使DRAM的时间过滤失效,因为工作负载要么由具有较长复用距离的一次性块主导,要么由超过DRAM容量的数GB级智能体会话主导,从而将SSD置于关键的读取路径上。其次,DRAM的暂存与按驱逐顺序布局导致SSD恢复出现瓶颈。为在途前缀保留主机暂存缓冲区会在负载下引发争用,进而中止预取操作;而增量式驱逐则会将会话的块分散到整个SSD上,阻碍大规模顺序读取。我们 p

事件进展与其他报道

在不阅读解释的情况下进行评分:自动化可解释性评估中的结构化捷径

arXiv:2610.37676v1 公告类型:新摘要:自动化可解释性通过让模型逐个标记地预测特征在评估样本上的激活位置,或判断标记的标记是否与该特征相符,从而对稀疏自编码器(SAE)特征的解释进行评分。我们发现,评估数据的标准处理流程可以在不读取解释的情况下完成评分。在Neuronpedia存储的针对500个随机GPT-2小型特征的模糊测试运行中,91.3%的激活样本都以中心标记为峰值进行裁剪;而当中心标记被标记时判定为“是”的规则,其平衡准确率达到了0.979,相比之下,基于存储的LLM评分器(根据管道代码重新计算的逐项判决结果)的准确率为0.838;仅依据标记数量的规则则达到了0.969。T

事件进展与其他报道

AI找漏洞实战:安卓手机锁屏下提取照片、53分钟攻破Linux获取最高权限

IT之家 10 月 29 日消息,Anthropic 于 10 月 27 日发布研究报告,称其通过一个未公开发布的内部 Claude 研究模型,在 Chrome、Safari、Android、Windows 和 Linux 中发现漏洞,并将多个漏洞串联为 5 条可实际运行的攻击链。相关漏洞均已按协调披露流程报告厂商并修复。其中最受关注的是 Chrome,IT之家援引博文介绍,Anth...

AI找漏洞实战:安卓手机锁屏下提取照片、53分钟攻破Linux获取最高权限
事件进展与其他报道

百度开源无限OCR 2,用于百页文档解析

百度发布了 Unlimited OCR 2,这是一款采用 MIT 许可证的 3B 参数规模的 OCR 模型,能够在一次请求中解析百页文档。其 SR-SWA 注意力机制使每步解码开销几乎保持不变,在 MarathonDocBench 上取得了 77.1 的得分。该文章《百度开源 Unlimited OCR 2,用于百页文档解析》首发于 MarkTechPost。

新闻源配图 · MarkTechPost
事件进展与其他报道

前缀键值对的重要性:在循环语言模型中用于自推测解码的RIPE缓存

arXiv:2610.34436v1 发布类型:新 摘要:循环语言模型在每个标记上会运行 $R$ 轮层,因此其键值(KV)缓存为每递归层保存 $R$ 个平面,而自推测解码(先用几轮进行初步推断,再用全部 $R$ 轮验证)会读取所有这些平面。我们发现,前缀键值的影响主要体现在较晚的阶段:在扰动幅度相同的情况下,第 25 至 32 轮的敏感度分别是第 2 至 9 轮的 $e^{15.0}$ 倍(Huginn-0125)和 $e^{12.8}$ 倍(Raven-Llama),且各平面随循环次数呈几何级数逼近最后一个平面,每轮分别达到 0.88 和 0.81。至于是否仅保留最深层的平面即可,这取决于晚期平面的成熟程度:在 Raven 上,仅存储最深层平面与从 bf16 转换为 fp32 的效果几乎无差异;而在 Huginn 上,仅有 1% 的位置就贡献了其误差的 74%。我们将这一发现转化为 RIPE,该方法存储最深层的

事件进展与其他报道

OpenAI 推出 GPT-6.1 Terra,将用于代理工作的 GPT-6.1 Sol 的 API 价格下调一半

OpenAI发布了GPT-6.1 Terra,这是一种快速的计算机与视觉模型,每百万个标记的价格为1美元/5美元。其在每项任务上的成本为0.29美元,而GPT-6 Astra的中等努力代理的最后一次测试得分则为4.82美元。该文章《OpenAI推出GPT-6.1 Terra,将GPT-6.1 Sol的代理工作API价格减半》首发于MarkTechPost。

新闻源配图 · MarkTechPost
事件进展与其他报道

Mac 用户狂喜:Ollama 终于能让 AI 开口说话了,还不用联网

IT之家 10 月 27 日消息,本地运行 AI 模型的开源平台 Ollama 于 10 月 24 日宣布,其 Mac 应用正式支持文本转语音(TTS)生成,Windows 和 Linux 版本也将随后跟进。科技媒体 9to5Mac 认为这是 Ollama 首次加入语音生成能力,让本地 AI 从“能读会写”进一步迈向“能开口说话”。首个支持的语音模型是 Gradium 开发的 Pho...

Mac 用户狂喜:Ollama 终于能让 AI 开口说话了,还不用联网
事件进展与其他报道