跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

3、7、14、17、42:指令微调在语言模型中安装并强化了数字选择启发式方法

arXiv:2610.36178v1 发布类型:新 摘要:我们无需抽样误差,即可测量当被要求生成一个随机数时,语言模型为1至N之间的每个整数所分配的概率。对于固定的提示词,模型会定义一个概率向量;我们通过累加每个整数的得分拼写来计算该向量,而非采用抽样估计,从而消除了限制早期研究[1, 4]的噪声。我们在两个推理栈上,针对多达N=100的五个范围,评估了18条开放权重模型系列,并采用了29种解码配置;其中15个模型同时拥有基础版和指令微调版的检查点,且两者均能给出可用的答案。指令微调使这15对模型中的分布更加不均匀,它引入了一种避免使用整数的启发式方法,并强化了另一种避免接近端点的启发式方法。基础检查点

事件进展与其他报道

Ψ-0.6:在统一的视觉-语言世界模型中自适应的思想流

arXiv:2610.32177v1 发布类型:新 摘要:人类在面对不断演化的复杂问题时,能够灵活地将多种推理形式加以组合,从而对物理世界进行推理。实现这种灵活性是人工智能领域的一项重大开放性挑战:当前的各类能力往往仍被分割在不同的专用模型中,限制了它们之间的组合方式以及针对特定任务的协同适配能力。我们提出了Ψ-0.6,这是一种统一的视觉—语言世界模型,它能够在一种名为“思维流”的共享推理过程中,自适应地整合感知、语言、几何与仿真等模块。这些思维流交织着图像、文本以及关于几何与运动的显式表示,而模型可通过统一的标记接口生成并解释所有这些信息。Ψ-0.6在多视角空间推理的零样本任务上超越了当前领先的开放权重模型。

事件进展与其他报道

你有多信任一只狗?量化推理语言模型中的提示遵循行为

arXiv:2610.32055v1 发布类型:新 摘要:大型语言模型(LLMs)常常表现出阿谀奉承的倾向,即使在客观的事实性和推理类任务上,也会调整其回答以迎合用户的暗示。然而,这种影响的量化形式——以及它是否与信息源的可靠性相匹配——仍然知之甚少。在本研究中,我们通过在MMLU问题上观察提示诱导的答案偏移来探究这一现象,评估了诸如“[信息源]认为答案是(X)”这类提示。我们在三个开源模型系列——Qwen、Gemma和SmolLM——中系统性地改变了提示所归因的信息源(教授、朋友或狗),并发现由提示引发的变化遵循一种可预测的结构,该结构可用指数倾斜很好地刻画:提示会诱发

事件进展与其他报道

测试时记忆进化能否在科学发现中超越测试时训练?

arXiv:2610.32046v1 发布类型:新 摘要:近期的“测试时训练”(TTT)框架使开放权重的大规模语言模型(LLMs)在科学发现任务上超越了由前沿模型驱动的仅推理框架。然而,TTT 在发现过程中引入了额外的在线权重更新计算开销,这使得在扩展至更大规模模型时,计算效率成为一项重要考量。因此,我们致力于探索一种用于科学发现的高效“测试时适应”方法。我们提出了一种即插即用的测试时适应方法——“测试时记忆演化”(TTME),作为 TTT 的替代方案。TTME 通过提炼经验不断更新外部记忆,从而指导后续的发现过程,而无需进行权重更新。

Can Test-Time Memory Evolution Outperform Test-Time Training for Scientific Discovery?
事件进展与其他报道