搜索 AI 资讯

Google 的 Genie 4 世界模型新增了音频功能、更逼真的世界以及实时操控

Google DeepMind 在面向可信测试人员的研究预览中发布了 Genie 4，这是一款具备实时音频、更逼真模拟以及中期模拟文本提示的世界模型。

PRISM：通过隐式随机调制促进大型语言模型的采样多样性

arXiv：2610.32101v1 发布类型：新 摘要：大型语言模型（LLMs）会表现出模式坍缩现象，即其输出分布集中于熟悉的语义模式。当多样性消失时，反复采样便沦为语义上的重复，而非新的发现，导致那些罕见但更优的解决方案难以浮现，从而使模型的自我进化与持续学习难以维持。大多数应对措施仅在推理阶段发挥作用，通过调整采样结果来实现多样性，却并未将多样性真正内化为模型的一项能力。我们提出了 PRISM，一种在训练阶段就将多样性内化的框架。PRISM 结合了：(i) 子模性策展机制，为每个提示配以多样且正确的多教师解；以及 (ii) 随机嵌入调制，将特殊标记的扰动转化为 impl

基于状态空间编码的线性时间上下文压缩

arXiv:2610.33006v1 发布类型：新 摘要：基于Transformer的大型语言模型（LLMs）在上下文长度增加时会带来巨大的计算与内存开销，这促使人们研究在推理前将上下文压缩为更短表示的方法。现有的软提示压缩方法通常采用与目标模型相同的Transformer主干架构，而在生成压缩表示的过程中会产生显著的延迟开销。这使得这些方法仅适用于离线场景——即上下文被一次性压缩后，在多次查询中重复使用。我们提出了Boa压缩器，这是一种即插即用的在线上下文压缩器，基于Mamba状态空间模型（SSM）构建，能够在一次线性时间的遍历中编码任意长度的上下文，并生成一个可用于后续条件化的表示……

上下文或知识：大型语言模型如何为其自身答案归因

arXiv:2610.32109v1 发布类型：新 摘要：语言模型能够根据给定的文档或其参数化知识回答问题。然而，当后续被问及答案的来源时，究竟是什么决定了它们的来源报告？我们通过在答案生成之后、源问题提出之前对模型的关键值（KV）缓存进行干预来研究这一问题。在一项受控的事实性任务中，针对四款模型（7B–32B），无论改变还是移除文档的缓存，都不会影响其来源报告。相比之下，在两次运行之间移植问答（Q+A）缓存——且前后的问题与答案标记完全相同——则会转移来源报告：所有符合条件的报告都会沿用捐赠方的来源，而接收方的文档本身保持不变。在两款较小的模型上，沿着事先为任何源问题拟合的方向引导问答值……

研究揭示不同长上下文模型在证据位置敏感性上的系统性差异

一项发表于2026年10月24日arXiv的实证研究（论文编号2610.31135v1）比较了Transformer、状态空间模型（state-space）及混合Mamba架构在长上下文问答任务中的位置偏置现象，发现Transformer模型普遍表现出对起始位置证据的利用优势，而状态空间模型缺乏该特性；两类模型却均偏好结尾位置证据。

推荐理由：该研究基于可控实验设计（固定9个干扰文档、滑动单个黄金文档），首次在统一评估框架下横向对比三类主流序列建模架构的位置敏感性，揭示了模型能力与架构类型、提示工程、任务性质的强耦合关系，对长上下文AI系统的设计与调试具有直接参考价值。