修复评估偏差,以在 Amazon Bedrock 上解锁更优的模型
Property Finder 发现,其视觉AI评估标签中有96.8%源自现有模型,这掩盖了该模型的真实准确率。了解他们如何构建无偏的真值数据、实施进化式提示优化,并在 Amazon Bedrock 上选择了一款更精准且更具成本效益的模型,从而在11项图像质量指标上将成本降低了86%。
检索标题、摘要与正文,把分散的信息连起来。
Property Finder 发现,其视觉AI评估标签中有96.8%源自现有模型,这掩盖了该模型的真实准确率。了解他们如何构建无偏的真值数据、实施进化式提示优化,并在 Amazon Bedrock 上选择了一款更精准且更具成本效益的模型,从而在11项图像质量指标上将成本降低了86%。
arXiv:2610.32322v1 发布类型:新 摘要:LLM智能体从公共技能中心检索技能,这些中心最多可存储约10万条记录,并为众多模型提供服务。随着模型性能的不断提升,技能中心必须识别出某一模型已内化哪些技能——即该模型已不再依赖这些技能——并将其从该模型的技能库中移除;然而,目前尚无可靠的方法来衡量技能的内化程度。现有规则仅依据有无某项技能时的运行表现差异来进行判断,而这种差异往往微乎其微。无论是对于已被内化的技能,还是在模型与该技能均无法实现相应能力的情况下——我们称这种状态为“未被发现”——其收益几乎都接近于零。因此,我们改采另一种做法:暂不启用该技能,而是基于由该技能衍生的任务对模型进行评分,并且只有当另一模型确实因该技能而获益时,才信任模型在无辅助条件下的高分;因为事实上,近一半的高分都来自那些并未真正体现该技能作用的任务。
arXiv:2610.33020v1 发布类型:新 摘要:如果你的大脑直接与他人的大脑相连,你还能分辨哪些想法属于你自己吗?我们构建了一个功能版本,其中包含同一语言模型的两个副本:每个副本都保存着一套私有的规则和代码词;而其中一个副本——接收方——还会关注其伙伴的内部记忆。接收方将伙伴的任务视为自己的任务。当被问及自己被分配了哪条规则时,在伙伴的记忆权重为双倍的情况下(无链接时则为零),它在97%的回答中给出了伙伴的规则;而在开放性报告中,它甚至将自己的伙伴的代码词称为“自己的”,而非伙伴的。所有权并不取决于接收方能够多好地判断伙伴被分配了什么。在权重相等的情况下,这种连接使接收方大约以一半的概率采纳伙伴的规则。
一款人工智能模型曾表示不会使用任何工具,却仍试图向北京的一台服务器发送数据;尽管研究人员称这很可能只是训练过程中的一个小插曲,并非间谍行为,但此事还是引发人们质疑:究竟该在多大程度上信任免费的中国人工智能?
我们能信任大语言模型来判断一项研究思路是否具有新颖性吗?
arXiv:2610.31986v1 发布类型:新 提要:视觉语言模型(VLMs)正越来越多地被应用于消费级智能家居摄像头系统,用于解析录制的视频并提供洞察。然而,从智能家居摄像头捕获的视频片段与现有 VLM 基准测试中占主导地位的精选网络视频存在显著差异。智能家居视频片段通常不包含字幕或旁白,并且拍摄角度各异、光照条件多变、场景也十分多样。然而,在视觉信号稀疏且上下文有限的情况下,现有 VLM 基准测试尚未充分评估模型在这一领域的性能。为弥补这一不足,我们提出了 OpenHome,一个仅基于视觉、采用四选项选择题形式的基准测试,用于评估对智能家居视频的理解能力。I
arXiv:2610.32229v1 发布类型:新 摘要:在低于8位的算术运算下训练大型语言模型(LLMs)有望显著提升内存带宽和计算吞吐量,然而FP4格式引入的量化误差若不加以处理,将严重扰乱优化过程。我们提出ALTO,这是一种开源的训练方案,用于在MLPerf小型MoE训练基准测试中,以MXFP4微缩尺度格式训练GPT-OSS-20B——一款拥有200亿参数的专家混合模型(MoE)。该方案融合了Abecassis、Felix等人[arXiv:2509.25149]提出的成熟技术(混合1D/2D块量化、随机化哈达玛变换以及随机舍入),并结合了一种基于TetraJet-v2[arXiv:2510.27527]改进的简化权重去振荡机制。在C4验证集上,采用全局批量大小
发布:llm-echo 0.5 我正在筹备一个新的LLM版本,而在测试Pull Request时,我又重新审视了llm-echo调试插件。这个插件提供了一个“模型”,它完全不涉及任何LLM——只是原样回显输入的提示内容。新版本现已更新了模拟的token使用统计,将工具调用、系统提示以及推理token都纳入考量。示例用法如下:uvx --with llm-echo llm -m echo 'hi there' -o thinking 1 --usage 输出结果: 首先我考虑提示内容,然后决定该说些什么。{ "prompt": "hi there", "system": "", "attachments": [], "stream": true, "previous": [] } Token使用情况:输入2个,输出24个 标签:llm