跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

代币置信度仅仅是链长吗?对推理轨迹的信号处理审计

arXiv:2610.36709v1 发布类型:新 摘要:推理型语言模型通过撰写冗长的思维链来解答数学问题,而对每个题目采样多条思维链并以多数投票的方式提高准确率,却会大幅增加生成文本的开销。一种常见的降本方法是根据模型对其所生成的每个标记(token)的信心值为每条思维链打分,其中“标记”指一个词或词的一部分。该方法将这种信心值在滑动窗口内(长度为2048个标记)进行平均,并依据最低的平均值决定保留或终止相应思维链。我们将逐标记记录的信心值视为一种类似于音频或无线电信号的特征,并借助谱分析、统计检验等标准信号处理工具,检测其中是否存在突变。我们从……中选取了500道题目的每道题各16条思维链进行采样。

事件进展与其他报道

Conceptizer:仅靠下一个标记预测并不够

arXiv:2610.33027v1 发布类型:新 摘要:下一个标记预测(NTP)仅奖励紧随其后的那个标记,而对所有其他可能的候选标记均予以惩罚。然而,自然语言往往存在多种表达相同意义的方式。我们提出了一种名为 Conceptizer 的训练框架,它在下一个标记预测的基础上,额外引入了针对语义的奖励机制。Conceptizer 采用一个固定且与模型无关的约 9,000 个概念词汇表,该词汇表由上下文中的同义词构建而成,用以作为语义的基本单位,与作为文本基本单位的标记并列使用。它将每个下一个标记的分布映射为一个概念分布,并在目标语义的所有可能表述之间共享相应的奖励。这一方法能够在不增加模型参数的前提下,提供概念级别的训练信号。在应用于包含 10 亿至 80 亿参数的三类模型时,Conceptizer 实现了最低的保留集 NTP 对数困惑度。

事件进展与其他报道

SAGE基准与GAR框架发布:推动多模态语义对齐评估

2026年10月26日,arXiv发布论文arXiv:2610.31838v1,提出Sense-Aligned Grounding Evaluation(SAGE)——一个统一的10候选图像选择基准,并配套训练无关的Gloss-Augmented Reasoning(GAR)框架,用于跨名词、动词和实体中心的多模态接地评估。

新闻源配图 · arXiv cs.CL

推荐理由:该研究首次将VWSD、VerSe和WikiDiverse三类任务统一为术语中心的接地评测协议,引入混淆难负样本与上下文交换诊断机制,并通过实证表明定义增强与约束引导推理的协同可显著提升Hits@1指标(65.90→71.22),为多模态语义对齐提供了更细粒度、可解释的评估新范式。

事件进展与其他报道

潜在一致性:前沿语言模型的概率判断是否遵循全概率定律?

arXiv:2610.31833v1 发布类型:新 摘要:LawZero 的 Scientist AI 通过一种目标函数训练预测器,使其逼近贝叶斯后验分布,该目标函数会惩罚潜在解释之间概率不一致的情况。我们探究当前处于前沿水平的语言模型——尽管未经过此类训练——是否在零样本条件下已在此意义上保持一致性:当隐变量 z 必须从上下文中的记录中推断时,其概率判断是否满足全概率公式 $P(X)=\\sum_z P(z)P(X|z)$?在单独的单轮调用中,模型被要求给出 $P(X)$、关于隐变量各状态的 $P(z)$,以及 $P(X|z)$;因果家族还对 $P(y|do(x))$ 和后门调整施加了同样的检验。每个查询都配有精确的真值概率,且部分条目以三种不同的表述方式分别提出,以进行区分

事件进展与其他报道