跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

面向大语言模型对齐的排序感知差分隐私发布方法

arXiv:2610.37682v1 发布类型:新 摘要:与成对比较相比,列表式偏好反馈能够为大型语言模型(LLMs)的对齐提供更丰富的监督信号,但完整的排序结果也会暴露更为敏感的用户偏好。现有的隐私保护型对齐方法主要聚焦于成对反馈,而本地差分隐私(LDP)下的列表式对齐仍处于未被探索的状态。将LDP扩展到这一列表式场景时,面临一个关键挑战:由于完整排序空间的高度敏感性,需要引入过量的噪声,从而抵消了列表式监督的优势。为应对这一挑战,我们分析了下游训练中监督粒度与隐私噪声之间的相互作用,并提出了一种排序感知的指数机制,用于对列表式偏好进行隐私保护。

事件进展与其他报道

明智地低语:用于ASR微调的智能子集选择

arXiv:2610.32997v1 发布类型:新 摘要:诸如OpenAI的Whisper等自动语音识别(ASR)模型在语音识别质量方面取得了显著提升,但微调成本依然高昂,尤其是在拥有大量已转录音频的情况下。这使得许多从业者难以将这些模型适配到新的语言或领域。在本研究中,我们提出了一种基于嵌入的子集选择方法,用于为ASR微调挑选更小规模的训练集。我们利用Whisper的预训练编码器,将每个音频样本映射到一个固定维度的嵌入空间,并采用贪心的k中心算法来选取多样且具代表性的训练数据子集。我们在希伯来语和丹麦语上对该方法进行了评估,结果表明,k中心选择往往能

新闻源配图 · arXiv cs.CL
事件进展与其他报道

利用稀疏历史进行搜索:基于不完整搜索日志与零成本代理的跨任务架构搜索

arXiv:2610.32179v1 发布类型:新 提要:神经架构搜索(NAS)成本高昂,但通过复用先前任务的知识,跨任务迁移能够有效降低成本。然而,现有方法在处理稀疏的搜索历史以及任务特定的迁移失败时面临困难。我们提出了一种风险稳健的策略,该策略通过基于冠军的初始化和联合的成对排序器预训练,将稀疏的源日志与零成本代理相结合。在 TransNAS-Bench-101 上,该方法显著缓解了严重的最差情况下的失败,使微观自动编码任务的最差10%排名从290降至43,宏观房间布局任务的最差10%排名从465降至45。在13个细胞空间目标上,该方法在平均性能和最差情况性能两方面均优于仅使用代理的排序器,并且在平均性能上仍保持竞争力。

事件进展与其他报道

用于上下文依赖解析的POS签名演示检索

arXiv:2610.31966v1 发布类型:新 摘要:上下文学习的示范通常通过语义相似度进行检索,而这在结构化预测任务中可能并非相关性的良好替代指标。我们研究了面向通用依存句法分析的示范选择方法,采用一种基于词性签名的策略,该策略以加权词性统计特征表示句子,并从已标注的训练集里检索出三个长度兼容、由人工标注的示例。我们在UD英语网络树库测试集的全部2,077个句子上,对两种未经过微调的开放权重语言模型进行了评估,将该策略与按样本数量和格式匹配的固定三元组及语义三元组基线,以及零样本、链式思维和批判性修正等系统进行了比较。结果表明,基于词性签名的检索方式获得了最高的标注准确率

事件进展与其他报道

大型语言模型的分布对齐及其泛化特性

arXiv:2610.31687v1 发布类型:新 提要:大型语言模型正越来越多地被用于模拟和探究人类行为,例如开展问卷调查。对于这类应用,一个关键特性是输出需满足分布对齐:即其输出分布应与某一参考(在本例中为人类)分布相一致。实现分布对齐的一个障碍在于如何从小规模训练数据中进行泛化。本文研究了:(1) 如何使大型语言模型实现分布对齐;以及 (2) 实现分布对齐的大型语言模型在面对未见样本以及不相关主题与任务时的泛化能力。通过两个大规模基准测试,我们发现大型语言模型确实能够实现分布对齐,并且能够在同一领域的未见问题上实现泛化。而跨主题的泛化则取决于各主题之间的关联性(例如…

事件进展与其他报道

LazyFlash:用于加速长上下文微调的前向密集、后向稀疏注意力机制

arXiv:2610.31911v1 发布类型:新 摘要:随着大型语言模型(LLMs)处理的序列长度不断增长,注意力机制已成为主要的计算瓶颈。稀疏注意力大多面向推理阶段,但许多方法在训练时仍采用密集模式,或无法支持稀疏训练;此外,这些方法额外增加的复杂性使得稀疏性难以转化为实际的运行时间加速,因此在实践中密集注意力仍然被广泛使用。本文提出了 LazyFlash,一种前向密集、后向稀疏的注意力机制,其核心基于这样一个观察:注意力机制的训练过程主要由反向传播阶段主导。LazyFlash 使前向传播保持完全密集,因此训练得到的模型仍然是标准的密集模型,现有系统(如 vLLM)无需任何修改即可直接服务。对于反向传播阶段,LazyFlash 提出了一种梯度-a

事件进展与其他报道

Sebastian Raschka发布八视频课程《从零构建推理模型》

Sebastian Raschka于2026年10月24日在Ahead of AI杂志(magazine.sebastianraschka.com)发布一套共八讲、超11小时的Python与PyTorch实操视频课程,系统讲解推理模型的评估、推理时扩展、强化学习(RLVR)与知识蒸馏,基于预训练Qwen3-0.6B模型实现全部方法。

推荐理由:该课程是作者继《从零构建大语言模型》后推出的进阶技术教育内容,聚焦当前主流LLM的核心演进方向——推理能力增强,覆盖从基础环境搭建到GRPO强化学习、自蒸馏等完整技术链,且明确声明所有实现均‘从零手写’、可复现,具备强教学性与工程参考价值。

事件进展与其他报道