跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

面向推理的大型语言模型的监督微调:综述

arXiv:2610.37681v1 发布类型:新 摘要:近年来,大型推理模型在解决复杂任务方面展现出卓越的能力,而基于长链式思维数据的监督微调(SFT)则成为激发并提升其推理能力的关键基础。尽管在改进与分析面向推理的监督微调方面取得了快速进展,但该领域仍缺乏一份系统性的综述来整合其快速增长的文献。为填补这一空白,我们对近期推理相关监督微调的最新进展进行了全面回顾,并从方法设计与分析研究的双重视角审视相关文献。首先,我们梳理了监督微调全流程中的方法学改进,并将其划分为以数据为中心的方法与以算法为中心的

事件进展与其他报道

针对哪种策略进行了校准?干预下的固定世界模型的保形不确定性

arXiv:2610.35877v1 发布类型:新 摘要:改变部署策略可能会使世界模型的不确定性失效,而同时保持物理转换机制和预测器不变。对于一步预测而言,如果源域与目标域的条件机制 $P(Y|X)=Q(Y|X)$ 相同,则该干预可通过预结果度量的变化 $w(X)=dQ_X/dP_X$ 来识别。对于受策略控制的动力学系统,这一比率可分解为状态占用率与动作倾向性两部分。加权保形校准能够将边际覆盖率迁移至目标分布;在估计出比率 $\hat w$ 的情况下,有 $P_Q\{Y \in C_{\hat w}(X)\} \ge 1-\alpha-TV(Q,\hat Q) \ge 1-\alpha-E_P|w-\hat w|$。源域与目标域分类器的总体对数损失遗憾同样界定了这一比率误差。若 $h$ 是其剪切

事件进展与其他报道

令牌置信度只是链长吗?对推理轨迹的信号处理审计

arXiv:2610.36709v1 发布类型:新 摘要:推理型语言模型通过撰写长长的思维链条来解答数学问题,而针对每个问题采样多条链条并以多数投票的方式提高准确率,却会大幅增加生成文本的开销。一种常见的降本方法是根据模型对其所写每个标记的置信度为每条链条打分,这里的“标记”指一个词或词的一部分。该方法将这种置信度在滑动窗口内(2048个标记)进行平均,并依据最低平均值决定保留或终止链条。我们将逐标记记录的置信度视为一种类似于音频或无线电信号的信号,并借助频谱分析、统计检验等标准信号处理工具来检测其中是否出现突变。我们从……中为500道题目各采样了16条链条。

事件进展与其他报道

雅可比透镜的数学理论

arXiv:2610.31955v1 发布类型:新 提要:Anthropic 的最新研究提出了一种名为“雅可比透镜”(J-lens,Gurnee 等人,2026)的新可解释性工具。该方法在前沿语言模型的隐藏状态中识别出一些线性方向,这些方向表现出类似工作记忆表征的特性。然而,尚不清楚究竟是哪些机制特性使这类特征能够被 J-lens 检测到。为此,我们提出了 J-lens 的数学理论,并证明它倾向于识别相干特征——即那些类似于主导、在空间上具有连贯性的李雅普诺夫模态的方向。沿着这些方向施加微小扰动时,其放大效应会逐层传递,在各个标记位置大致保持不变,并且在不同上下文中也具有一致性。尽管 w

新闻源配图 · arXiv cs.LG
事件进展与其他报道

神经网络矿井中的金丝雀:捕捉图像分类器的无声而自信的失误

arXiv:2610.33063v1 发布类型:新 摘要:部署后的视觉模型会自动接受置信度较高的预测,因此高置信度错误会在不知不觉中传播。作为标准的故障预测指标,最大 softmax 概率(MSP)存在一个结构性盲点:作为一种从分类器头部读取的标量,它对与其置信度梯度正交的特征变化在一阶上是“视而不见”的。通过对特征空间检测器进行因子分析,我们发现了一条条件冗余原则,用以解释为何这些检测器无法有效补充 MSP:它们所衡量的类别可分性几何结构实际上早已被编码在 MSP 中,并且在融合后会完全失效。最终幸存下来的信号,是位于流形外残差上的类别条件典型性——而由于这一残差的分布因骨干网络的不同而异,从接近高斯分布到重尾分布不等。

事件进展与其他报道

EKT-路由器:面向具身视觉-语言模型的专家证据对齐

arXiv:2610.33044v1 发布类型:新 摘要:具身视觉-语言模型必须根据部分且不断变化的观测结果来回答问题。其成功既取决于所选择的推理能力,也取决于该能力所能获取的证据。专家路由器通过调整内部计算来应对,而工具增强系统则通过获取外部证据来弥补;若单独选择其中一种方式,可能会导致合适的专家缺乏其所需的证据。我们提出了 EKT-Router,这是一种有限框架,能够同时选择能力专家、可选知识以及感知工具。基于结果的特征表示了通用专家、空间推理专家和时空推理专家之间的优势互补。一个联合效用函数在调用预算范围内对完整的专家—证据路径进行评分。获取完成后,数据包验证器会确认有效数据包

新闻源配图 · arXiv cs.CV
事件进展与其他报道

无阻塞式监督:面向协作运行时的基于证据的OTP式容错机制再设计

arXiv:2610.34521v1 发布类型:新 摘要:主流运行时上的 Actor 框架纷纷宣称支持 Erlang/OTP 式的监督机制,但 OTP 的一致性契约假定使用的是同步的单线程监督器,而端口则将这一假设的缺失视为未加审视的风险。我们对照已锁定版本的 OTP 官方文档与源码原文,逐一检验了各项监督保障;同时,还基于三个其他 Rust Actor 框架在固定版本下的源码进行了比对,并参考了有关 Actor 模型的文献,记录下每项设计决策背后的依据。通过盲目的对抗性审计与跨框架研究,我们发现了 24 类缺陷,其中 8 类可归结为同一个根本原因:即通过显式机制重新构建了同步监督器所隐含的原子性。我们提出了一种监督运行时 th

事件进展与其他报道

流形上流匹配的兼容似然性

arXiv:2610.31981v1 发布类型:新 基本摘要:在最简单的非欧几里得流形——一维平坦环面上,我们展示了一种分布,在该分布下,一种近期提出的黎曼流匹配扩展方法能够通过一个将样本从数据分布中推开的速度场实现全局最优。我们将这种失效模式归因于我们称之为“兼容性”的性质:基于似然的流匹配目标若具备兼容性,则其总体最小化解能够恢复由数据与耦合所诱导的边际速度场。我们给出了兼容性的通用条件,并将其应用于现有方法,同时以在兼容性条件下趋于零的残差项为基准,对最坏情况下的误差进行了界定。此外,我们指出,现有的兼容性目标会在紧致流形上对那些不可行的速度施加密度约束。

新闻源配图 · arXiv cs.LG
事件进展与其他报道

量子节奏:具有多个并发提议者的后量子共识

arXiv:2610.32803v1 发布类型:新 摘要:大多数高性能区块链的共识协议都采用法定人数证书,该证书将法定人数内验证者的签名打包在一起。诸如 BLS 之类的签名方案能够将整个法定人数的签名聚合为一个短签名,从而保持这些证书的规模较小。然而,一台大规模量子计算机将打破这类方案,而目前尚无任何后量子方案能够在聚合规模和聚合时间上与之相当。如果不进行聚合,每个证书都需要为法定人数中的每一位成员存储一条大型后量子签名,这使得每位验证者广播证书变得不可行,而这正是现代共识协议通常所要求的。我们提出了 Quantum Cadence,一种支持多个并发提议者的后量子共识协议,其

事件进展与其他报道

挖掘框架:作为新闻框架检测的无监督框架的关联规则挖掘

arXiv:2610.31874v1 发布类型:新 摘要:计算框架分析领域长期以来以监督式分类器为主,这类方法需要大规模的标注语料库和预先定义的框架分类体系,从而限制了其在非英语语言、新型事件以及低资源环境中的应用。本文提出了一种基于关联规则挖掘(ARM)的无监督、无需标注的新闻框架检测框架。其中,每篇文档或每个句子都被视为一个由词汇项构成的“交易”,而高提升度的共现规则则被解读为候选的框架信号(即甘森与莫迪利亚尼所提出的“凝缩符号”),并由记者与研究人员在具体语境中加以验证。主要验证案例为《聚焦加沙:来自美国、英国、法国和德国16家媒体的25,512篇英文报道,涵盖加沙战争的第一年(10月……》

事件进展与其他报道