跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

用于医学图像间最优传输的凸势学习

arXiv:2610.37844v1 发布类型:新 摘要:在形态学分析中,计算医学图像之间的最优传输映射具有基础性作用。然而,现有方法要么难以扩展至大型三维医学图像,要么依赖于正则化形式,只能提供近似的传输映射。为提高下游医学图像分析的准确性,我们提出了一种新颖的方法,通过参数化凸势函数来估计最优传输映射。根据构造,所得的传输映射必定无旋,符合布雷尼耶定理。我们在二维和三维医学影像数据集上对该方法进行了评估。实验结果表明,我们的方法能够实现更低的传输估计误差,并生成更高q

事件进展与其他报道

雅可比透镜的数学理论

arXiv:2610.31955v1 发布类型:新 提要:Anthropic 的最新研究提出了一种名为“雅可比透镜”(J-lens,Gurnee 等人,2026)的新可解释性工具。该方法在前沿语言模型的隐藏状态中识别出一些线性方向,这些方向表现出类似工作记忆表征的特性。然而,尚不清楚究竟是哪些机制特性使这类特征能够被 J-lens 检测到。为此,我们提出了 J-lens 的数学理论,并证明它倾向于识别相干特征——即那些类似于主导、在空间上具有连贯性的李雅普诺夫模态的方向。沿着这些方向施加微小扰动时,其放大效应会逐层传递,在各个标记位置大致保持不变,并且在不同上下文中也具有一致性。尽管 w

新闻源配图 · arXiv cs.LG
事件进展与其他报道

PRISM:通过隐式随机调制促进大型语言模型的采样多样性

arXiv:2610.32101v1 发布类型:新 摘要:大型语言模型(LLMs)会表现出模式坍缩现象,即其输出分布集中于熟悉的语义模式。当多样性消失时,反复采样便沦为语义上的重复,而非新的发现,导致那些罕见但更优的解决方案难以浮现,从而使模型的自我进化与持续学习难以维持。大多数应对措施仅在推理阶段发挥作用,通过调整采样结果来实现多样性,却并未将多样性真正内化为模型的一项能力。我们提出了 PRISM,一种在训练阶段就将多样性内化的框架。PRISM 结合了:(i) 子模性策展机制,为每个提示配以多样且正确的多教师解;以及 (ii) 随机嵌入调制,将特殊标记的扰动转化为 impl

事件进展与其他报道

将Transformer理论付诸实践

arXiv:2610.32104v1 发布类型:新 摘要:为刻画Transformer架构的能力与局限性,人们已发展出若干形式化理论,这些理论分别采用不同的抽象方法,以捕捉该架构的不同特性。由于其底层假设与概念框架存在差异,这些理论在预测Transformer对哪些任务感到容易或困难时往往意见不一。我们梳理了七种关于Transformer能力的理论(Star-free、$\mathsf{AC}^0$、$\mathsf{TC}^0$、C-RASP、MPC、BAPO以及敏感性),并将其研究结果转化为一张通用的预测矩阵,覆盖一系列涉及不同计算结构的任务。我们还提供了新的理论成果,以完善这一矩阵。随后,我们对这些理论进行评估

事件进展与其他报道

用于室内无线电地图估计的协同上下文学习

arXiv:2610.31702v1 发布类型:新 摘要:室内无线地图估计(RME)对于覆盖规划、定位和网络部署等无线应用至关重要。然而,现有方法大多采用监督学习范式,需要耗费高昂成本的标注数据,并进行针对特定任务的模型训练。此外,室内环境涉及建筑布局与结构等隐私敏感信息,这些信息往往无法集中管理。为应对上述挑战,我们首次尝试将室内RME建模为一种协同式上下文学习(ICL)问题。我们提出了Poly-Ripple框架,其中多个客户端在无需更新模型的情况下,利用大型自回归视觉模型(LAVMs)进行ICL。每个客户端均通过其私有演示数据获得提示。

Collaborative In-Context Learning for Indoor Radio Map Estimation
事件进展与其他报道

缪子预条件何时以及如何生效?结构化梯度噪声的作用

arXiv:2610.31728v1 发布类型:新 摘要:Muon 已成为大型语言模型训练中广受欢迎的优化器,但其理论基础仍缺乏深入理解。在本研究中,我们探讨了梯度噪声的几何结构如何影响 Muon 的预条件化优势。我们首先从理论与实验两方面证明,在经典的各向同性噪声假设下,Muon 仅能通过重新缩放学习率而带来加速效果,无法进一步提升性能。这一发现促使我们进一步考察由异构任务频率下的关联记忆中的小批量采样所引起的结构化噪声。我们为两类任务确定了一个精确的平衡阈值,并将分析扩展至多任务场景,揭示了任务覆盖率与梯度可靠性如何共同塑造学习过程。我们的分析表明,Muon 能够缓解……

When and How Does Muon Precondition? The Role of Structured Gradient Noise
事件进展与其他报道