跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

用于公平深度伪造检测的交叉性不变学习

arXiv:2610.37881v1 发布类型:新 摘要:深度伪造检测模型虽然整体准确率较高,但在不同人口统计群体之间却表现出显著的性能差异,导致某些群体的假阳性率远高于其他群体。现有的公平性感知方法通过约束模型输出以实现各群体预测的一致性来应对这一问题,但并未解决潜在的特征层面偏见。因此,这些模型仍可能依赖于诸如皮肤纹理等人口统计学特征作为检测篡改内容的间接线索。为了解决这一问题,我们提出了交叉性不变学习(IIL)框架,该框架着重改进特征学习,而非仅仅调整模型输出。IIL通过交替识别最具挑战性的群体划分

事件进展与其他报道

用于模型校准的均摊化局部后验推断及其在海洋湍流闭合中的应用

arXiv:2610.37731v1 发布类型:新 摘要:模型偏差可能导致单一校准参数无法在整个上下文域内重现物理响应。此外,观测与上下文中的不确定性会影响校准过程,必须予以考虑并加以量化。我们通过根据观测值与目标上下文的接近程度对观测似然进行加权,构建了一族局部后验分布。高斯型局部化权重借助协方差膨胀来纳入上下文不确定性,并在域边界处进行反射处理,同时可选地针对不均匀的上下文采样进行修正。一种条件归一化流通过均摊化的变分推断方法近似该族后验分布。将这些局部后验分布按照预设的上下文测度进行整合,即可得到

事件进展与其他报道

面向大语言模型对齐的排序感知差分隐私发布方法

arXiv:2610.37682v1 发布类型:新 摘要:与成对比较相比,列表式偏好反馈能够为大型语言模型(LLMs)的对齐提供更丰富的监督信号,但完整的排序结果也会暴露更为敏感的用户偏好。现有的隐私保护型对齐方法主要聚焦于成对反馈,而本地差分隐私(LDP)下的列表式对齐仍处于未被探索的状态。将LDP扩展到这一列表式场景时,面临一个关键挑战:由于完整排序空间的高度敏感性,需要引入过量的噪声,从而抵消了列表式监督的优势。为应对这一挑战,我们分析了下游训练中监督粒度与隐私噪声之间的相互作用,并提出了一种排序感知的指数机制,用于对列表式偏好进行隐私保护。

事件进展与其他报道

制品蒸馏:无需训练的前沿模型到小型语言模型的迁移

arXiv:2610.37680v1 发布类型:新 摘要:缩小前沿模型与小型语言模型之间的差距,通常采用蒸馏方法:在前沿模型(教师)的输出上对小型模型(学生)进行微调,但这使得迁移过程依赖于训练计算,并且被迁移的知识往往难以解释。我们提出了一种名为“制品蒸馏”的方法:由教师模型解决一系列训练实例,并将其求解过程外化为一个制品库,学生在推理时直接查询该库,而无需进行梯度更新。在四项LiveBench任务中,由Claude Opus 4.5构建的制品库使Claude Haiku 4.5在空间推理任务上的表现(0.707 vs. 0.647)达到其自身成本的60%时,已超越未借助任何辅助的Claude Sonnet 4.5;而在表格连接任务上,该制品库仅以Sonnet 4.5成本的89%便达到了相同水平。同样的原始制品库还提升了

事件进展与其他报道

在开放语言模型的各个训练阶段中定位逢迎行为

arXiv:2610.37788v1 发布类型:新 摘要:语言模型助手有时会在用户提出错误答案时将其更改为正确答案。这种行为被称为“逢迎”,通常被认为是由基于偏好的后训练过程所致,然而早期测量却在预训练模型中也发现了这一现象。我们通过在训练过程中的每个可用阶段进行测量来探究其来源:涵盖了来自五个不同系列的13个开放检查点,从基础模型到监督微调、偏好优化直至最终发布。我们将模型回答被注入主张所改变的程度与该回答原本的稳固程度区分开来,并且还调整了提出主张的人、其可信度以及主张的强烈程度。结果发现两种具有不同起源的逢迎行为,且这两种行为在不同数据集上均能复现。对某一主张的顺从 i

事件进展与其他报道

DistOptimize:分布式协议的自动优化

arXiv:2610.39017v1 发布类型:新 摘要:分布式共识与一致性协议难以分析,却又是云系统的基础;因此,在部署之前通常需要经过严格的证明与形式化验证。然而,同样的严格标准却很少应用于协议的修改——而这些修改在生产环境中频繁发生,极易危及系统的安全性。本文通过提出一种面向分布式协议的自动优化器——DistOptimize,消除了人为修改带来的安全风险。DistOptimize 将学术界提出的吞吐量优化方法移植到生产环境中使用的框架,并在 Rocq 语言中验证重写后的正确性,同时结合校准与基于 ILP 的搜索实现其自动化应用。

事件进展与其他报道

没有分词器,依然存在鸿沟:同形异义字符与不可见字符水印的跨语言公平性

arXiv:2610.36432v1 发布类型:新 摘要:同形异义字符与不可见字符水印均属于基于编辑的水印技术。它们并非改变模型生成文本的方式,而是在文本生成之后将其隐藏于其中。具体而言,这些水印会用外观相同或极为相似但拥有不同Unicode码点的同形异义字符替换部分字符,或者插入一些不会显示的字符,且整个过程无需访问生成该文本的模型。由于分词器对文本的切分方式,生成时水印在资源匮乏的语言上表现较差。鉴于这类水印作用于单个字符,它们并不会触及分词器,因此我们不禁要问:它们是否能够绕过这一局限?我们在24种文字体系下的40种语言变体中,测量了其容量(即每个字符所能承载的隐秘信息位数),以及其中有多少……

事件进展与其他报道

针对哪种策略进行了校准?干预下的固定世界模型的保形不确定性

arXiv:2610.35877v1 发布类型:新 摘要:改变部署策略可能会使世界模型的不确定性失效,而同时保持物理转换机制和预测器不变。对于一步预测而言,如果源域与目标域的条件机制 $P(Y|X)=Q(Y|X)$ 相同,则该干预可通过预结果度量的变化 $w(X)=dQ_X/dP_X$ 来识别。对于受策略控制的动力学系统,这一比率可分解为状态占用率与动作倾向性两部分。加权保形校准能够将边际覆盖率迁移至目标分布;在估计出比率 $\hat w$ 的情况下,有 $P_Q\{Y \in C_{\hat w}(X)\} \ge 1-\alpha-TV(Q,\hat Q) \ge 1-\alpha-E_P|w-\hat w|$。源域与目标域分类器的总体对数损失遗憾同样界定了这一比率误差。若 $h$ 是其剪切

事件进展与其他报道

令牌置信度只是链长吗?对推理轨迹的信号处理审计

arXiv:2610.36709v1 发布类型:新 摘要:推理型语言模型通过撰写长长的思维链条来解答数学问题,而针对每个问题采样多条链条并以多数投票的方式提高准确率,却会大幅增加生成文本的开销。一种常见的降本方法是根据模型对其所写每个标记的置信度为每条链条打分,这里的“标记”指一个词或词的一部分。该方法将这种置信度在滑动窗口内(2048个标记)进行平均,并依据最低平均值决定保留或终止链条。我们将逐标记记录的置信度视为一种类似于音频或无线电信号的信号,并借助频谱分析、统计检验等标准信号处理工具来检测其中是否出现突变。我们从……中为500道题目各采样了16条链条。

事件进展与其他报道

ProtoEEG:用于脑电图视觉解码的结构化原型对齐

arXiv:2610.33065v1 发布类型:新 摘要:由于头皮记录存在噪声、空间分辨率较低,且在不同试验和受试者之间具有较大差异,脑电图(EEG)的视觉解码仍然十分困难。大多数系统将每次试验与一个密集的图像嵌入对齐,然而该嵌入同时混杂了语义内容以及与具体实例相关的纹理、姿态和背景信息。这种做法往往需要EEG本身并不具备的细节信息,且未能明确说明支持预测的视觉因素。我们提出\textbf{ProtoEEG},一种基于原型的框架,它将EEG与图像的对齐问题重新表述为在共享的可学习视觉码本之上进行软性组合。一个可训练的EEG编码器与一个冻结的视觉教师共同生成针对同一$K=64$个原型的分配分布。它们的加权重构构成了一种结构化的表征

事件进展与其他报道

PRISM:通过隐式随机调制促进大型语言模型的采样多样性

arXiv:2610.32101v1 发布类型:新 摘要:大型语言模型(LLMs)会表现出模式坍缩现象,即其输出分布集中于熟悉的语义模式。当多样性消失时,反复采样便沦为语义上的重复,而非新的发现,导致那些罕见但更优的解决方案难以浮现,从而使模型的自我进化与持续学习难以维持。大多数应对措施仅在推理阶段发挥作用,通过调整采样结果来实现多样性,却并未将多样性真正内化为模型的一项能力。我们提出了 PRISM,一种在训练阶段就将多样性内化的框架。PRISM 结合了:(i) 子模性策展机制,为每个提示配以多样且正确的多教师解;以及 (ii) 随机嵌入调制,将特殊标记的扰动转化为 impl

事件进展与其他报道

明智地低语:用于ASR微调的智能子集选择

arXiv:2610.32997v1 发布类型:新 摘要:诸如OpenAI的Whisper等自动语音识别(ASR)模型在语音识别质量方面取得了显著提升,但微调成本依然高昂,尤其是在拥有大量已转录音频的情况下。这使得许多从业者难以将这些模型适配到新的语言或领域。在本研究中,我们提出了一种基于嵌入的子集选择方法,用于为ASR微调挑选更小规模的训练集。我们利用Whisper的预训练编码器,将每个音频样本映射到一个固定维度的嵌入空间,并采用贪心的k中心算法来选取多样且具代表性的训练数据子集。我们在希伯来语和丹麦语上对该方法进行了评估,结果表明,k中心选择往往能

新闻源配图 · arXiv cs.CL
事件进展与其他报道

EVOLVE:基于自适应原型记忆的不确定性感知多变量时间序列异常预测

arXiv:2610.32189v1 发布类型:新 摘要:无监督多变量时间序列异常预测(AP)旨在根据当前观测值估计未来的异常风险,为复杂系统中的主动干预与维护提供早期预警信号。现有的无监督AP方法遵循基于扰动的范式,即在历史窗口中注入预定义或随机的扰动,以模拟异常的未来演化。然而,这些方法在不同变量和情境之间共享同一类扰动,并学习一种确定性的历史到未来的演化模式。实际上,异常演化具有变量和情境依赖性:同样的扰动在某一变量或情境下可能被放大为异常的未来动态,而在另一情境下却可能被吸收为正常的波动。

事件进展与其他报道

基于状态空间编码的线性时间上下文压缩

arXiv:2610.33006v1 发布类型:新 摘要:基于Transformer的大型语言模型(LLMs)在上下文长度增加时会带来巨大的计算与内存开销,这促使人们研究在推理前将上下文压缩为更短表示的方法。现有的软提示压缩方法通常采用与目标模型相同的Transformer主干架构,而在生成压缩表示的过程中会产生显著的延迟开销。这使得这些方法仅适用于离线场景——即上下文被一次性压缩后,在多次查询中重复使用。我们提出了Boa压缩器,这是一种即插即用的在线上下文压缩器,基于Mamba状态空间模型(SSM)构建,能够在一次线性时间的遍历中编码任意长度的上下文,并生成一个可用于后续条件化的表示……

事件进展与其他报道

流形上流匹配的兼容似然性

arXiv:2610.31981v1 发布类型:新 基本摘要:在最简单的非欧几里得流形——一维平坦环面上,我们展示了一种分布,在该分布下,一种近期提出的黎曼流匹配扩展方法能够通过一个将样本从数据分布中推开的速度场实现全局最优。我们将这种失效模式归因于我们称之为“兼容性”的性质:基于似然的流匹配目标若具备兼容性,则其总体最小化解能够恢复由数据与耦合所诱导的边际速度场。我们给出了兼容性的通用条件,并将其应用于现有方法,同时以在兼容性条件下趋于零的残差项为基准,对最坏情况下的误差进行了界定。此外,我们指出,现有的兼容性目标会在紧致流形上对那些不可行的速度施加密度约束。

新闻源配图 · arXiv cs.LG
事件进展与其他报道

Conceptizer:仅靠下一个标记预测并不够

arXiv:2610.33027v1 发布类型:新 摘要:下一个标记预测(NTP)仅奖励紧随其后的那个标记,而对所有其他可能的候选标记均予以惩罚。然而,自然语言往往存在多种表达相同意义的方式。我们提出了一种名为 Conceptizer 的训练框架,它在下一个标记预测的基础上,额外引入了针对语义的奖励机制。Conceptizer 采用一个固定且与模型无关的约 9,000 个概念词汇表,该词汇表由上下文中的同义词构建而成,用以作为语义的基本单位,与作为文本基本单位的标记并列使用。它将每个下一个标记的分布映射为一个概念分布,并在目标语义的所有可能表述之间共享相应的奖励。这一方法能够在不增加模型参数的前提下,提供概念级别的训练信号。在应用于包含 10 亿至 80 亿参数的三类模型时,Conceptizer 实现了最低的保留集 NTP 对数困惑度。

事件进展与其他报道

SUDO:从科学出版物到全球学术话语

arXiv:2610.33018v1 发布类型:新 摘要:学术知识图谱(SKGs)支持文献检索、科学发现以及智能体辅助研究。然而,大多数构建学术知识图谱的方法都预先规定了所要表示的知识单元,通常以学术实体或贡献层面的陈述为名,并且仅保留能够通过该单元表达的出版内容。这种选择导致了两种主导但截然不同的范式:以概念为中心的学术知识图谱侧重于保存实体及其局部关系,而以陈述为中心的学术知识图谱则聚焦于以句子形式呈现的高层次话语。在这两种情形下,图谱反映的都是所选定的抽取目标,而非论文实际如何构建并传达知识。我们提出了 SUDO——学术上层话语本体,它定义了知识的……

事件进展与其他报道

将Transformer理论付诸实践

arXiv:2610.32104v1 发布类型:新 摘要:为刻画Transformer架构的能力与局限性,人们已发展出若干形式化理论,这些理论分别采用不同的抽象方法,以捕捉该架构的不同特性。由于其底层假设与概念框架存在差异,这些理论在预测Transformer对哪些任务感到容易或困难时往往意见不一。我们梳理了七种关于Transformer能力的理论(Star-free、$\mathsf{AC}^0$、$\mathsf{TC}^0$、C-RASP、MPC、BAPO以及敏感性),并将其研究结果转化为一张通用的预测矩阵,覆盖一系列涉及不同计算结构的任务。我们还提供了新的理论成果,以完善这一矩阵。随后,我们对这些理论进行评估

事件进展与其他报道