跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

FlatCake:一种用于大语言模型推理的扁平化KV缓存存储架构

arXiv:2610.38355v1 发布类型:新摘要:KV缓存复用能够加速大语言模型的推理,但现有系统将主机DRAM和NVMe SSD视为分层结构,其中DRAM充当中间缓存。然而,实际的大语言模型工作负载打破了这一分层结构的两个前提。首先,双模态复用使DRAM的时间过滤失效,因为工作负载要么由具有较长复用距离的一次性块主导,要么由超过DRAM容量的数GB级智能体会话主导,从而将SSD置于关键的读取路径上。其次,DRAM的暂存与按驱逐顺序布局导致SSD恢复出现瓶颈。为在途前缀保留主机暂存缓冲区会在负载下引发争用,进而中止预取操作;而增量式驱逐则会将会话的块分散到整个SSD上,阻碍大规模顺序读取。我们 p

事件进展与其他报道

通过低秩多线性分解进行大语言模型幻觉检测

arXiv:2610.36191v1 发布类型:新 摘要:大型语言模型(LLMs)经常生成流畅但事实错误的回复,这引发了对其可靠性的担忧。近期的幻觉检测方法越来越多地利用内部表示,但从高维隐藏状态中提取有效信息仍然充满挑战。现有方法往往依赖于特定激活或基于池化的压缩方式,可能忽略了分布在Transformer各层、特征模式和标记中的判别性信息。我们提出了LOTUS(基于低秩顺序统计TUcker的子空间学习),这是一种用于幻觉检测的多线性低秩分解框架,能够在降低对标签依赖的同时,从LLM的隐藏状态中提取紧凑的表示。

事件进展与其他报道

KORA:面向人工智能工作负载的确定性优先执行控制

arXiv:2610.35869v1 发布类型:新 摘要:人工智能应用通常会在决定是否需要进行推理之前先调用模型。这种默认行为对于模糊的生成任务很有用,但与那些结构化、确定性、受策略约束、以查找为主或可直接验证的工作并不匹配。KORA 提出了确定性优先执行控制:一种位于推理前的控制层,它将请求表示为任务路径,优先尝试确定性或结构化的执行路径,验证路径结果,记录遥测数据,并仅在确定性处理不足时才切换到模型候选路径。本文将 KORA 介绍为一种确定性优先的执行控制架构,并基于可复现的基准测试和验证工作负载提供了有限的实证证据。在一项重

事件进展与其他报道

一种用于前沿大型语言模型中阿希服从现象的定量方法

arXiv:2610.36668v1 发布类型:新 摘要:阿希服从实验近来作为衡量大型语言模型(LLMs)中从众行为的一种手段而备受关注。尽管先前的研究主要致力于证明大型语言模型中的从众现象,但我们的工作在此基础上进一步引入了定量分析维度。我们并未针对一系列问题对前沿大型语言模型进行抽样,而是通过反复采样同一个问题,利用大型语言模型的概率特性生成答案分布。由此,我们可以比较模型在被呈现人为制造的共识前后答案分布的变化。实验结果证实,前沿大型语言模型确实存在从众现象,这与先前文献的结论相一致;同时,借助我们提出的分布间对比方法,还提供了更多……

事件进展与其他报道

百度开源无限OCR 2,用于百页文档解析

百度发布了 Unlimited OCR 2,这是一款采用 MIT 许可证的 3B 参数规模的 OCR 模型,能够在一次请求中解析百页文档。其 SR-SWA 注意力机制使每步解码开销几乎保持不变,在 MarathonDocBench 上取得了 77.1 的得分。该文章《百度开源 Unlimited OCR 2,用于百页文档解析》首发于 MarkTechPost。

新闻源配图 · MarkTechPost
事件进展与其他报道

LeafSkill:用于递归LLM智能体的高效叶级动作定位

arXiv:2610.32412v1 发布类型:新 摘要:递归式大型语言模型(LLM)智能体通过分解、执行与环境反馈来解决长周期任务。然而,在生成一个原子级子任务后,它们往往再次调用同一款大型模型,将熟悉的指令转化为可执行的动作。我们观察到,高层规划具有任务特定性,而底层动作的具身化则在不同任务间反复出现,并且能够对照环境允许的动作进行验证。为此,我们提出了 LeafSkill,这是一种外部复用层,它能够检索语义相关的具身化经验,将动作模板绑定到当前对象与可执行动作上,并借助一个轻量级的 17 亿参数选择器来决定采用已绑定的动作,或将未发生变化的子任务交由原始智能体继续处理。技能始终处于外

事件进展与其他报道

前缀键值对的重要性:在循环语言模型中用于自推测解码的RIPE缓存

arXiv:2610.34436v1 发布类型:新 摘要:循环语言模型在每个标记上会运行 $R$ 轮层,因此其键值(KV)缓存为每递归层保存 $R$ 个平面,而自推测解码(先用几轮进行初步推断,再用全部 $R$ 轮验证)会读取所有这些平面。我们发现,前缀键值的影响主要体现在较晚的阶段:在扰动幅度相同的情况下,第 25 至 32 轮的敏感度分别是第 2 至 9 轮的 $e^{15.0}$ 倍(Huginn-0125)和 $e^{12.8}$ 倍(Raven-Llama),且各平面随循环次数呈几何级数逼近最后一个平面,每轮分别达到 0.88 和 0.81。至于是否仅保留最深层的平面即可,这取决于晚期平面的成熟程度:在 Raven 上,仅存储最深层平面与从 bf16 转换为 fp32 的效果几乎无差异;而在 Huginn 上,仅有 1% 的位置就贡献了其误差的 74%。我们将这一发现转化为 RIPE,该方法存储最深层的

事件进展与其他报道

Nace AI 推出用于搜索 AI 智能体的 Drex:在 BrowseComp-Plus 上的准确率为 92.05%,并进行了 12.6 次搜索调用

Nace AI 发布了 Drex for Search,将其 Drex 决策模型应用于 AI 智能体的文档搜索。Nace 在 BrowseComp-Plus 上取得了 92.05% 的成绩,仅需 12.6 次搜索调用,并且在 OfficeQA Pro 上实现了更少的智能体交互次数。该文章“Nace AI 为 AI 智能体发布 Drex for Search:在 BrowseComp-Plus 上取得 92.05% 成绩,仅需 12.6 次搜索调用”首发于 MarkTechPost。

事件进展与其他报道

DirCast:通过单一的流媒体视频语言模型实现电竞赛事的实时导播与解说

arXiv:2610.31734v1 发布类型:新 基本摘要:一场电子竞技的实时直播需要一位导演来决定哪路摄像机画面该播出,以及一位解说员在每一秒都对这一选择进行解说,而他们往往无法预知接下来会发生什么。流媒体视频语言模型已经学会了进行赛事解说,但仅限于由人类导演事先制作好的直播内容。我们研究的是实时直播制作场景:模型仅接收所有选手的原始摄像头画面,必须完全依靠过往信息同时完成导播与解说任务。我们提出了 DirCast,一种能够同时胜任这两项工作的单一流媒体视频语言模型。它每秒以低分辨率扫描所有摄像头,通过“保留”或“切换”的决策机制判断是否以及何时切镜,并在发言前以高分辨率读取所选画面。其上下文会记录哪些内容已播出,以及哪些…

DirCast: Live Esports Directing and Commentary with a Single Streaming Video-Language Model
事件进展与其他报道

HyScale:用于学习型稀疏注意力的长上下文训练扩展

arXiv:2610.32057v1 发布类型:新 摘要:我们提出了 HyScale,一种用于学习型稀疏注意力的长上下文训练系统。学习型稀疏注意力是一种在百万级token上下文中颇具前景的架构,自 DeepSeek-V3.2 以来已在生产环境中得到广泛应用。然而,选择过程逐渐成为训练中的性能瓶颈。对于每个查询,它需要对每一个先前的token进行打分,而稀疏注意力仅读取$k$个;更糟糕的是,现有系统会显式构建完整的打分表,并在重计算时重复执行选择操作。我们的关键洞察在于:选择过程的输出并非激活值,而是一组索引。基于这一发现,HyScale 引入了 HyTopK 和选择重放机制。HyTopK 能够在无需打分表的情况下,实时为每个查询找到精确的前$k$个索引;而选择重放则在重计算过程中复用前向传播阶段的选择结果。

HyScale: Scaling Long-Context Training for Learned Sparse Attention
事件进展与其他报道

战斗无人机——一款基于音频的多人实时策略游戏

我最新的基于Vibe编码的游戏实验是一款名为“战斗无人机”的《命令与征服》风格的即时战略(RTS)游戏(点击此处试玩)。与我之前的实验不同,这款游戏实际上非常有趣。我有点不好意思承认,我是通过让Claude“让它变得有趣得多”才做到这一点的。此外,它还支持通过音频在附近设备之间同步游戏状态的多人模式!以下是我目前的开发成果,以及在此过程中的一些心得体会。 战斗无人机:我是如何打造这款v1版本的——初始原型;v2版本——完整精灵图;v3版本——多样化地形;v4版本——趣味性更新;v5版本——战斗无人机实现3D化;v8版本——群岛模式;v10版本——巨像与特工对战;特工对战v11版本——随机地图;v12版本——通过声音实现多人联机。 一些思考 更新:已支持在线多人模式 战斗无人机 我最初的目标是构建

事件进展与其他报道