修复评估偏差,以在 Amazon Bedrock 上解锁更优的模型
Property Finder 发现,其视觉AI评估标签中有96.8%源自现有模型,这掩盖了该模型的真实准确率。了解他们如何构建无偏的真值数据、实施进化式提示优化,并在 Amazon Bedrock 上选择了一款更精准且更具成本效益的模型,从而在11项图像质量指标上将成本降低了86%。
检索标题、摘要与正文,把分散的信息连起来。
Property Finder 发现,其视觉AI评估标签中有96.8%源自现有模型,这掩盖了该模型的真实准确率。了解他们如何构建无偏的真值数据、实施进化式提示优化,并在 Amazon Bedrock 上选择了一款更精准且更具成本效益的模型,从而在11项图像质量指标上将成本降低了86%。
arXiv:2610.31986v1 发布类型:新 提要:视觉语言模型(VLMs)正越来越多地被应用于消费级智能家居摄像头系统,用于解析录制的视频并提供洞察。然而,从智能家居摄像头捕获的视频片段与现有 VLM 基准测试中占主导地位的精选网络视频存在显著差异。智能家居视频片段通常不包含字幕或旁白,并且拍摄角度各异、光照条件多变、场景也十分多样。然而,在视觉信号稀疏且上下文有限的情况下,现有 VLM 基准测试尚未充分评估模型在这一领域的性能。为弥补这一不足,我们提出了 OpenHome,一个仅基于视觉、采用四选项选择题形式的基准测试,用于评估对智能家居视频的理解能力。I
arXiv:2610.32229v1 发布类型:新 摘要:在低于8位的算术运算下训练大型语言模型(LLMs)有望显著提升内存带宽和计算吞吐量,然而FP4格式引入的量化误差若不加以处理,将严重扰乱优化过程。我们提出ALTO,这是一种开源的训练方案,用于在MLPerf小型MoE训练基准测试中,以MXFP4微缩尺度格式训练GPT-OSS-20B——一款拥有200亿参数的专家混合模型(MoE)。该方案融合了Abecassis、Felix等人[arXiv:2509.25149]提出的成熟技术(混合1D/2D块量化、随机化哈达玛变换以及随机舍入),并结合了一种基于TetraJet-v2[arXiv:2510.27527]改进的简化权重去振荡机制。在C4验证集上,采用全局批量大小