跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

制品蒸馏:无需训练的前沿模型到小型语言模型的迁移

arXiv:2610.37680v1 发布类型:新 摘要:缩小前沿模型与小型语言模型之间的差距,通常采用蒸馏方法:在前沿模型(教师)的输出上对小型模型(学生)进行微调,但这使得迁移过程依赖于训练计算,并且被迁移的知识往往难以解释。我们提出了一种名为“制品蒸馏”的方法:由教师模型解决一系列训练实例,并将其求解过程外化为一个制品库,学生在推理时直接查询该库,而无需进行梯度更新。在四项LiveBench任务中,由Claude Opus 4.5构建的制品库使Claude Haiku 4.5在空间推理任务上的表现(0.707 vs. 0.647)达到其自身成本的60%时,已超越未借助任何辅助的Claude Sonnet 4.5;而在表格连接任务上,该制品库仅以Sonnet 4.5成本的89%便达到了相同水平。同样的原始制品库还提升了

事件进展与其他报道

面向推理的大型语言模型的监督微调:综述

arXiv:2610.37681v1 发布类型:新 摘要:近年来,大型推理模型在解决复杂任务方面展现出卓越的能力,而基于长链式思维数据的监督微调(SFT)则成为激发并提升其推理能力的关键基础。尽管在改进与分析面向推理的监督微调方面取得了快速进展,但该领域仍缺乏一份系统性的综述来整合其快速增长的文献。为填补这一空白,我们对近期推理相关监督微调的最新进展进行了全面回顾,并从方法设计与分析研究的双重视角审视相关文献。首先,我们梳理了监督微调全流程中的方法学改进,并将其划分为以数据为中心的方法与以算法为中心的

事件进展与其他报道

用于上下文依赖解析的POS签名演示检索

arXiv:2610.31966v1 发布类型:新 摘要:上下文学习的示范通常通过语义相似度进行检索,而这在结构化预测任务中可能并非相关性的良好替代指标。我们研究了面向通用依存句法分析的示范选择方法,采用一种基于词性签名的策略,该策略以加权词性统计特征表示句子,并从已标注的训练集里检索出三个长度兼容、由人工标注的示例。我们在UD英语网络树库测试集的全部2,077个句子上,对两种未经过微调的开放权重语言模型进行了评估,将该策略与按样本数量和格式匹配的固定三元组及语义三元组基线,以及零样本、链式思维和批判性修正等系统进行了比较。结果表明,基于词性签名的检索方式获得了最高的标注准确率

事件进展与其他报道