当你把代码仓库交给别人训练之前，先给模型装一个后门
你有没有想过一件事：你用的那个编程助手模型，最初的权重文件从哪来的？大概率不是公司自己从零训练的。现在做AI应用的公司,十个里有九个是拿一个别人训练好的基础模型,再用自己的数据微调一下,变成自己产品里的"大脑"。Cursor的Composer 2用的是Kimi K2.5底子,WebRL把Llama模型改造成了网页操作助手。这事本身没毛病,省时...
AI NEWS JOURNAL
搜索 AI 资讯
检索标题、摘要与正文，把分散的信息连起来。
轮辐，而非环：重新审视语言模型中的工作日流形
arXiv:2610.37796v1 发布类型：新 摘要：近期研究提出，大型语言模型可能将某些概念表示为多维流形，而非单一方向。利用这些流形来解释或引导模型的表征时，通常假设沿流形移动对应于所表征概念的连续变化。在本研究中，我们针对典型的工作日流形检验了这一连续流形假设。尽管其具有引人注目的圆形几何结构，我们发现工作日的表征更像七个按圆周排列的离散状态，而非连续的环状结构。首先，我们证明局部敏感性在七个星期几处各有一个极小值，从而在流形内引导下，表征与行为之间呈现出阶梯式的映射关系。其次，w
短时傅里叶变换并行实现的比较研究
arXiv:2610.38069v1 发布类型：新 摘要：短时傅里叶变换（STFT）通过对较长信号的一段短时窗口进行傅里叶变换，从而刻画频率随时间的变化特征。尽管傅里叶变换算法，尤其是快速傅里叶变换（FFT）算法，已得到充分发展以充分利用并行计算的优势，但关于并行短时傅里叶变换算法性能的研究仍较为有限。在本研究中，我们实现了两种并行短时傅里叶变换算法——一种基于FFT，另一种为准并行前馈算法——并对其进行了对比分析。研究发现，在低并发环境下，准并行算法在运行时间上更具优势，而……
制品蒸馏：无需训练的前沿模型到小型语言模型的迁移
arXiv:2610.37680v1 发布类型：新 摘要：缩小前沿模型与小型语言模型之间的差距，通常采用蒸馏方法：在前沿模型（教师）的输出上对小型模型（学生）进行微调，但这使得迁移过程依赖于训练计算，并且被迁移的知识往往难以解释。我们提出了一种名为“制品蒸馏”的方法：由教师模型解决一系列训练实例，并将其求解过程外化为一个制品库，学生在推理时直接查询该库，而无需进行梯度更新。在四项LiveBench任务中，由Claude Opus 4.5构建的制品库使Claude Haiku 4.5在空间推理任务上的表现（0.707 vs. 0.647）达到其自身成本的60%时，已超越未借助任何辅助的Claude Sonnet 4.5；而在表格连接任务上，该制品库仅以Sonnet 4.5成本的89%便达到了相同水平。同样的原始制品库还提升了
在开放语言模型的各个训练阶段中定位逢迎行为
arXiv：2610.37788v1 发布类型：新 摘要：语言模型助手有时会在用户提出错误答案时将其更改为正确答案。这种行为被称为“逢迎”，通常被认为是由基于偏好的后训练过程所致，然而早期测量却在预训练模型中也发现了这一现象。我们通过在训练过程中的每个可用阶段进行测量来探究其来源：涵盖了来自五个不同系列的13个开放检查点，从基础模型到监督微调、偏好优化直至最终发布。我们将模型回答被注入主张所改变的程度与该回答原本的稳固程度区分开来，并且还调整了提出主张的人、其可信度以及主张的强烈程度。结果发现两种具有不同起源的逢迎行为，且这两种行为在不同数据集上均能复现。对某一主张的顺从 i
面向推理的大型语言模型的监督微调：综述
arXiv:2610.37681v1 发布类型：新 摘要：近年来，大型推理模型在解决复杂任务方面展现出卓越的能力，而基于长链式思维数据的监督微调（SFT）则成为激发并提升其推理能力的关键基础。尽管在改进与分析面向推理的监督微调方面取得了快速进展，但该领域仍缺乏一份系统性的综述来整合其快速增长的文献。为填补这一空白，我们对近期推理相关监督微调的最新进展进行了全面回顾，并从方法设计与分析研究的双重视角审视相关文献。首先，我们梳理了监督微调全流程中的方法学改进，并将其划分为以数据为中心的方法与以算法为中心的
TRACEs：面向分布式科学工作流的细粒度嵌入式溯源
arXiv:2610.39981v1 发布类型：新 摘要：大规模科学工作流运行于分布式高性能计算资源之上，这使得人们难以解释科学数据产品的生成过程，也难以理解为何相似的工作流执行会得到截然不同的结果。现有系统通常只关注分布式工作流的执行或溯源管理，很少将细粒度的溯源视为分布式科学数据产物的固有属性。我们提出了 TRACEs（可追溯的高级容器化执行运行时），这是一种适用于分布式容器化科学工作流的溯源架构，它将数据血统与执行上下文直接嵌入到每一个生成的数据产物中。通过将溯源与工作流编排解耦，TRACEs 将以产物为中心的溯源进行泛化
FinLLM-KG：用于算法交易中金融情绪分析的知识图谱增强型大语言模型
arXiv:2610.36083v1 发布类型：新 原文摘要：生成式人工智能的最新进展通过后训练的金融领域大型语言模型（LLMs），显著提升了金融情绪分析的性能。然而，现有方法仍局限于孤立地预测每篇文章的情绪，且运行机制如同“黑箱”，这限制了对上下文的理解，并阻碍了其在高风险金融决策中的应用。为此，我们提出了FinLLM-KG，这是一种与模型无关的框架，将因果推理的大语言模型与金融知识图谱相结合，在推理阶段注入来自美国证券交易委员会10-K文件的、具有时间关联性的公司级知识，而无需更新模型权重。在FinLLM-KG中，上下文既可以以自然语言形式的公司简介提供，也可以以一小部分关系作为输入。
在适应之前进行校正：面向联邦自适应优化的梯度校正
arXiv:2502.02727v4 发布类型：替换-交叉 摘要：客户端漂移补偿方法能够缓解联邦学习（FL）中数据异构性带来的影响。尽管针对基于随机梯度下降（SGD）的联邦学习，漂移校正已得到充分研究，但其与自适应客户端优化器之间的相互作用仍缺乏深入理解。诸如Adam等自适应优化器会根据过去梯度的运行平均值来构建每次更新，因此仅对最终更新方向进行校正，将无法改变这些平均值及其所包含的漂移。我们提出了联邦自适应梯度校正（{\tt FA-GC}），该方法在梯度进入这些运行平均值之前即对其进行校正，并将其与联邦自适应朴素跟踪（{\tt FA-NT}）进行了对比——后者是在最终更新方向上添加校正。我们证明，在一种理想情况下
针对哪种策略进行了校准？干预下的固定世界模型的保形不确定性
arXiv：2610.35877v1 发布类型：新 摘要：改变部署策略可能会使世界模型的不确定性失效，而同时保持物理转换机制和预测器不变。对于一步预测而言，如果源域与目标域的条件机制 $P(Y|X)=Q(Y|X)$ 相同，则该干预可通过预结果度量的变化 $w(X)=dQ_X/dP_X$ 来识别。对于受策略控制的动力学系统，这一比率可分解为状态占用率与动作倾向性两部分。加权保形校准能够将边际覆盖率迁移至目标分布；在估计出比率 $\hat w$ 的情况下，有 $P_Q\{Y \in C_{\hat w}(X)\} \ge 1-\alpha-TV(Q,\hat Q) \ge 1-\alpha-E_P|w-\hat w|$。源域与目标域分类器的总体对数损失遗憾同样界定了这一比率误差。若 $h$ 是其剪切
Google 的 Genie 4 世界模型新增了音频功能、更逼真的世界以及实时操控
Google DeepMind 在面向可信测试人员的研究预览中发布了 Genie 4，这是一款具备实时音频、更逼真模拟以及中期模拟文本提示的世界模型。
微调 NVIDIA Nemotron，使其不仅懂本地语言，更懂本地规则
随着人工智能在全球范围内的普及，不同语言和文化背景的人们正在将其应用于日常生活的更多方面。通用语言模型服务于……
ProtoEEG：用于脑电图视觉解码的结构化原型对齐
arXiv:2610.33065v1 发布类型：新 摘要：由于头皮记录存在噪声、空间分辨率较低，且在不同试验和受试者之间具有较大差异，脑电图（EEG）的视觉解码仍然十分困难。大多数系统将每次试验与一个密集的图像嵌入对齐，然而该嵌入同时混杂了语义内容以及与具体实例相关的纹理、姿态和背景信息。这种做法往往需要EEG本身并不具备的细节信息，且未能明确说明支持预测的视觉因素。我们提出\textbf{ProtoEEG}，一种基于原型的框架，它将EEG与图像的对齐问题重新表述为在共享的可学习视觉码本之上进行软性组合。一个可训练的EEG编码器与一个冻结的视觉教师共同生成针对同一$K=64$个原型的分配分布。它们的加权重构构成了一种结构化的表征
MANTA：在异步BFT中解锁DAG的灵活性
arXiv:2610.34419v1 发布类型：新 摘要：基于有向无环图（DAG）的拜占庭容错（BFT）协议通过用并行的区块提案取代单主节点的提案路径，并借助共享图结构将这些提案相互连接，从而在共识设计上实现了重大转变；其中，引用机制用于编码共识证据。然而，在异构广域网（WAN）环境下，现有方案由于拖后腿效应而面临轮次延长和性能下降的问题。其根本原因在于僵化的轮次推进机制：各副本以同步的方式按固定轮次推进，必须等待前一轮中足够多的引用后才能继续前进。我们提出了一种适用于异步BFT共识的灵活DAG扩展框架。我们的关键观察是：尽管引用法定人数对于安全性和活性至关重要，但并不需要在每一轮推进时都予以阻塞；相反，连通性r
明智地低语：用于ASR微调的智能子集选择
arXiv：2610.32997v1 发布类型：新 摘要：诸如OpenAI的Whisper等自动语音识别（ASR）模型在语音识别质量方面取得了显著提升，但微调成本依然高昂，尤其是在拥有大量已转录音频的情况下。这使得许多从业者难以将这些模型适配到新的语言或领域。在本研究中，我们提出了一种基于嵌入的子集选择方法，用于为ASR微调挑选更小规模的训练集。我们利用Whisper的预训练编码器，将每个音频样本映射到一个固定维度的嵌入空间，并采用贪心的k中心算法来选取多样且具代表性的训练数据子集。我们在希伯来语和丹麦语上对该方法进行了评估，结果表明，k中心选择往往能
OpenESM：能量引导模型具有可扩展性，是基础学习者
arXiv:2610.33005v1 发布类型：新 摘要：基于能量的模型在特定领域任务中表现出良好的性能，但在建模通用场景时仍面临挑战。为弥合这一差距，我们设计了用于基础语言建模的能量引导模型（ESMs）。ESMs 将能量引导与标记生成整合于同一架构之中，利用能量引导的搜索来优化标记生成。具体而言，ESMs 首先在能量景观上优化潜在状态，随后基于优化后的潜在状态进行标记生成。通过在大规模语料库上开展此类能量引导的预训练，ESMs 学习到一种普遍有效的能量景观，其中有利的标记对应较低的能量值。为探究 ESMs 的规模扩展特性，我们对 ESM 进行了预训练
神经网络矿井中的金丝雀：捕捉图像分类器的无声而自信的失误
arXiv:2610.33063v1 发布类型：新 摘要：部署后的视觉模型会自动接受置信度较高的预测，因此高置信度错误会在不知不觉中传播。作为标准的故障预测指标，最大 softmax 概率（MSP）存在一个结构性盲点：作为一种从分类器头部读取的标量，它对与其置信度梯度正交的特征变化在一阶上是“视而不见”的。通过对特征空间检测器进行因子分析，我们发现了一条条件冗余原则，用以解释为何这些检测器无法有效补充 MSP：它们所衡量的类别可分性几何结构实际上早已被编码在 MSP 中，并且在融合后会完全失效。最终幸存下来的信号，是位于流形外残差上的类别条件典型性——而由于这一残差的分布因骨干网络的不同而异，从接近高斯分布到重尾分布不等。
ReMedI：用于可控分子优化的推理阶段精化与自蒸馏
arXiv:2610.32103v1 发布类型：新 摘要：在药物研发中，先导化合物的优化需要同时提升各项性能指标，例如提高渗透性并降低毒性，同时尽量减少骨架结构的改动，以免影响化合物的活性。基于强化学习的后训练方法，如 C-MORAL，通过微调分子语言模型，直接针对目标优化分子先导化合物，但这种方法依赖于昂贵的任务特定数据集，并且在实现多目标优化（MOO）方面面临诸多挑战。我们认为，预训练模型可能已经蕴含了有益的分子修饰信息，而零样本生成难以高效地触及这些信息。鉴于零样本生成的搜索能力有限，我们提出了一种高效的 Metropolis-Hastings 搜索策略，以……
EVOLVE：基于自适应原型记忆的不确定性感知多变量时间序列异常预测
arXiv:2610.32189v1 发布类型：新 摘要：无监督多变量时间序列异常预测（AP）旨在根据当前观测值估计未来的异常风险，为复杂系统中的主动干预与维护提供早期预警信号。现有的无监督AP方法遵循基于扰动的范式，即在历史窗口中注入预定义或随机的扰动，以模拟异常的未来演化。然而，这些方法在不同变量和情境之间共享同一类扰动，并学习一种确定性的历史到未来的演化模式。实际上，异常演化具有变量和情境依赖性：同样的扰动在某一变量或情境下可能被放大为异常的未来动态，而在另一情境下却可能被吸收为正常的波动。
基于证据的直觉：面向多模态智能体的自适应双重记忆
arXiv:2610.33019v1 发布类型：新 摘要：随着多模态智能体开展持续交互，长期记忆发挥着两种既 distinct 又互补的功能：细粒度的证据召回，以及用于全局理解的内化解读。尽管情景记忆与隐式记忆分别通过显式的历史记录和内化的经验来满足这些需求，但由于情景记忆在证据覆盖与整合方面存在局限，而隐式记忆又缺乏扎实的事实基础，单一的范式难以兼顾不同任务间多样化的记忆偏好。为弥合这一鸿沟，我们提出了一种双记忆框架，将模型原生的隐式记忆作为直观的先验，同时结合多索引的情景记忆，通过检索驱动的联合对齐实现精确的证据重建。在 i