跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

用于公平深度伪造检测的交叉性不变学习

arXiv:2610.37881v1 发布类型:新 摘要:深度伪造检测模型虽然整体准确率较高,但在不同人口统计群体之间却表现出显著的性能差异,导致某些群体的假阳性率远高于其他群体。现有的公平性感知方法通过约束模型输出以实现各群体预测的一致性来应对这一问题,但并未解决潜在的特征层面偏见。因此,这些模型仍可能依赖于诸如皮肤纹理等人口统计学特征作为检测篡改内容的间接线索。为了解决这一问题,我们提出了交叉性不变学习(IIL)框架,该框架着重改进特征学习,而非仅仅调整模型输出。IIL通过交替识别最具挑战性的群体划分

事件进展与其他报道

用于模型校准的均摊化局部后验推断及其在海洋湍流闭合中的应用

arXiv:2610.37731v1 发布类型:新 摘要:模型偏差可能导致单一校准参数无法在整个上下文域内重现物理响应。此外,观测与上下文中的不确定性会影响校准过程,必须予以考虑并加以量化。我们通过根据观测值与目标上下文的接近程度对观测似然进行加权,构建了一族局部后验分布。高斯型局部化权重借助协方差膨胀来纳入上下文不确定性,并在域边界处进行反射处理,同时可选地针对不均匀的上下文采样进行修正。一种条件归一化流通过均摊化的变分推断方法近似该族后验分布。将这些局部后验分布按照预设的上下文测度进行整合,即可得到

事件进展与其他报道

DistOptimize:分布式协议的自动优化

arXiv:2610.39017v1 发布类型:新 摘要:分布式共识与一致性协议难以分析,却又是云系统的基础;因此,在部署之前通常需要经过严格的证明与形式化验证。然而,同样的严格标准却很少应用于协议的修改——而这些修改在生产环境中频繁发生,极易危及系统的安全性。本文通过提出一种面向分布式协议的自动优化器——DistOptimize,消除了人为修改带来的安全风险。DistOptimize 将学术界提出的吞吐量优化方法移植到生产环境中使用的框架,并在 Rocq 语言中验证重写后的正确性,同时结合校准与基于 ILP 的搜索实现其自动化应用。

事件进展与其他报道

没有分词器,依然存在鸿沟:同形异义字符与不可见字符水印的跨语言公平性

arXiv:2610.36432v1 发布类型:新 摘要:同形异义字符与不可见字符水印均属于基于编辑的水印技术。它们并非改变模型生成文本的方式,而是在文本生成之后将其隐藏于其中。具体而言,这些水印会用外观相同或极为相似但拥有不同Unicode码点的同形异义字符替换部分字符,或者插入一些不会显示的字符,且整个过程无需访问生成该文本的模型。由于分词器对文本的切分方式,生成时水印在资源匮乏的语言上表现较差。鉴于这类水印作用于单个字符,它们并不会触及分词器,因此我们不禁要问:它们是否能够绕过这一局限?我们在24种文字体系下的40种语言变体中,测量了其容量(即每个字符所能承载的隐秘信息位数),以及其中有多少……

事件进展与其他报道

针对哪种策略进行了校准?干预下的固定世界模型的保形不确定性

arXiv:2610.35877v1 发布类型:新 摘要:改变部署策略可能会使世界模型的不确定性失效,而同时保持物理转换机制和预测器不变。对于一步预测而言,如果源域与目标域的条件机制 $P(Y|X)=Q(Y|X)$ 相同,则该干预可通过预结果度量的变化 $w(X)=dQ_X/dP_X$ 来识别。对于受策略控制的动力学系统,这一比率可分解为状态占用率与动作倾向性两部分。加权保形校准能够将边际覆盖率迁移至目标分布;在估计出比率 $\hat w$ 的情况下,有 $P_Q\{Y \in C_{\hat w}(X)\} \ge 1-\alpha-TV(Q,\hat Q) \ge 1-\alpha-E_P|w-\hat w|$。源域与目标域分类器的总体对数损失遗憾同样界定了这一比率误差。若 $h$ 是其剪切

事件进展与其他报道

令牌置信度只是链长吗?对推理轨迹的信号处理审计

arXiv:2610.36709v1 发布类型:新 摘要:推理型语言模型通过撰写长长的思维链条来解答数学问题,而针对每个问题采样多条链条并以多数投票的方式提高准确率,却会大幅增加生成文本的开销。一种常见的降本方法是根据模型对其所写每个标记的置信度为每条链条打分,这里的“标记”指一个词或词的一部分。该方法将这种置信度在滑动窗口内(2048个标记)进行平均,并依据最低平均值决定保留或终止链条。我们将逐标记记录的置信度视为一种类似于音频或无线电信号的信号,并借助频谱分析、统计检验等标准信号处理工具来检测其中是否出现突变。我们从……中为500道题目各采样了16条链条。

事件进展与其他报道

PRISM:通过隐式随机调制促进大型语言模型的采样多样性

arXiv:2610.32101v1 发布类型:新 摘要:大型语言模型(LLMs)会表现出模式坍缩现象,即其输出分布集中于熟悉的语义模式。当多样性消失时,反复采样便沦为语义上的重复,而非新的发现,导致那些罕见但更优的解决方案难以浮现,从而使模型的自我进化与持续学习难以维持。大多数应对措施仅在推理阶段发挥作用,通过调整采样结果来实现多样性,却并未将多样性真正内化为模型的一项能力。我们提出了 PRISM,一种在训练阶段就将多样性内化的框架。PRISM 结合了:(i) 子模性策展机制,为每个提示配以多样且正确的多教师解;以及 (ii) 随机嵌入调制,将特殊标记的扰动转化为 impl

事件进展与其他报道

EVOLVE:基于自适应原型记忆的不确定性感知多变量时间序列异常预测

arXiv:2610.32189v1 发布类型:新 摘要:无监督多变量时间序列异常预测(AP)旨在根据当前观测值估计未来的异常风险,为复杂系统中的主动干预与维护提供早期预警信号。现有的无监督AP方法遵循基于扰动的范式,即在历史窗口中注入预定义或随机的扰动,以模拟异常的未来演化。然而,这些方法在不同变量和情境之间共享同一类扰动,并学习一种确定性的历史到未来的演化模式。实际上,异常演化具有变量和情境依赖性:同样的扰动在某一变量或情境下可能被放大为异常的未来动态,而在另一情境下却可能被吸收为正常的波动。

事件进展与其他报道

基于状态空间编码的线性时间上下文压缩

arXiv:2610.33006v1 发布类型:新 摘要:基于Transformer的大型语言模型(LLMs)在上下文长度增加时会带来巨大的计算与内存开销,这促使人们研究在推理前将上下文压缩为更短表示的方法。现有的软提示压缩方法通常采用与目标模型相同的Transformer主干架构,而在生成压缩表示的过程中会产生显著的延迟开销。这使得这些方法仅适用于离线场景——即上下文被一次性压缩后,在多次查询中重复使用。我们提出了Boa压缩器,这是一种即插即用的在线上下文压缩器,基于Mamba状态空间模型(SSM)构建,能够在一次线性时间的遍历中编码任意长度的上下文,并生成一个可用于后续条件化的表示……

事件进展与其他报道

流形上流匹配的兼容似然性

arXiv:2610.31981v1 发布类型:新 基本摘要:在最简单的非欧几里得流形——一维平坦环面上,我们展示了一种分布,在该分布下,一种近期提出的黎曼流匹配扩展方法能够通过一个将样本从数据分布中推开的速度场实现全局最优。我们将这种失效模式归因于我们称之为“兼容性”的性质:基于似然的流匹配目标若具备兼容性,则其总体最小化解能够恢复由数据与耦合所诱导的边际速度场。我们给出了兼容性的通用条件,并将其应用于现有方法,同时以在兼容性条件下趋于零的残差项为基准,对最坏情况下的误差进行了界定。此外,我们指出,现有的兼容性目标会在紧致流形上对那些不可行的速度施加密度约束。

新闻源配图 · arXiv cs.LG
事件进展与其他报道

Conceptizer:仅靠下一个标记预测并不够

arXiv:2610.33027v1 发布类型:新 摘要:下一个标记预测(NTP)仅奖励紧随其后的那个标记,而对所有其他可能的候选标记均予以惩罚。然而,自然语言往往存在多种表达相同意义的方式。我们提出了一种名为 Conceptizer 的训练框架,它在下一个标记预测的基础上,额外引入了针对语义的奖励机制。Conceptizer 采用一个固定且与模型无关的约 9,000 个概念词汇表,该词汇表由上下文中的同义词构建而成,用以作为语义的基本单位,与作为文本基本单位的标记并列使用。它将每个下一个标记的分布映射为一个概念分布,并在目标语义的所有可能表述之间共享相应的奖励。这一方法能够在不增加模型参数的前提下,提供概念级别的训练信号。在应用于包含 10 亿至 80 亿参数的三类模型时,Conceptizer 实现了最低的保留集 NTP 对数困惑度。

事件进展与其他报道

将Transformer理论付诸实践

arXiv:2610.32104v1 发布类型:新 摘要:为刻画Transformer架构的能力与局限性,人们已发展出若干形式化理论,这些理论分别采用不同的抽象方法,以捕捉该架构的不同特性。由于其底层假设与概念框架存在差异,这些理论在预测Transformer对哪些任务感到容易或困难时往往意见不一。我们梳理了七种关于Transformer能力的理论(Star-free、$\mathsf{AC}^0$、$\mathsf{TC}^0$、C-RASP、MPC、BAPO以及敏感性),并将其研究结果转化为一张通用的预测矩阵,覆盖一系列涉及不同计算结构的任务。我们还提供了新的理论成果,以完善这一矩阵。随后,我们对这些理论进行评估

事件进展与其他报道

上下文或知识:大型语言模型如何为其自身答案归因

arXiv:2610.32109v1 发布类型:新 摘要:语言模型能够根据给定的文档或其参数化知识回答问题。然而,当后续被问及答案的来源时,究竟是什么决定了它们的来源报告?我们通过在答案生成之后、源问题提出之前对模型的关键值(KV)缓存进行干预来研究这一问题。在一项受控的事实性任务中,针对四款模型(7B–32B),无论改变还是移除文档的缓存,都不会影响其来源报告。相比之下,在两次运行之间移植问答(Q+A)缓存——且前后的问题与答案标记完全相同——则会转移来源报告:所有符合条件的报告都会沿用捐赠方的来源,而接收方的文档本身保持不变。在两款较小的模型上,沿着事先为任何源问题拟合的方向引导问答值……

事件进展与其他报道

潜在一致性:前沿语言模型的概率判断是否遵循全概率定律?

arXiv:2610.31833v1 发布类型:新 摘要:LawZero 的 Scientist AI 通过一种目标函数训练预测器,使其逼近贝叶斯后验分布,该目标函数会惩罚潜在解释之间概率不一致的情况。我们探究当前处于前沿水平的语言模型——尽管未经过此类训练——是否在零样本条件下已在此意义上保持一致性:当隐变量 z 必须从上下文中的记录中推断时,其概率判断是否满足全概率公式 $P(X)=\\sum_z P(z)P(X|z)$?在单独的单轮调用中,模型被要求给出 $P(X)$、关于隐变量各状态的 $P(z)$,以及 $P(X|z)$;因果家族还对 $P(y|do(x))$ 和后门调整施加了同样的检验。每个查询都配有精确的真值概率,且部分条目以三种不同的表述方式分别提出,以进行区分

事件进展与其他报道