修复评估偏差，以在 Amazon Bedrock 上解锁更优的模型
Property Finder 发现，其视觉AI评估标签中有96.8%源自现有模型，这掩盖了该模型的真实准确率。了解他们如何构建无偏的真值数据、实施进化式提示优化，并在 Amazon Bedrock 上选择了一款更精准且更具成本效益的模型，从而在11项图像质量指标上将成本降低了86%。
AI NEWS JOURNAL
搜索 AI 资讯
检索标题、摘要与正文，把分散的信息连起来。
OpenHome：从感知到洞察——智能家居摄像头视频分析
arXiv：2610.31986v1 发布类型：新 提要：视觉语言模型（VLMs）正越来越多地被应用于消费级智能家居摄像头系统，用于解析录制的视频并提供洞察。然而，从智能家居摄像头捕获的视频片段与现有 VLM 基准测试中占主导地位的精选网络视频存在显著差异。智能家居视频片段通常不包含字幕或旁白，并且拍摄角度各异、光照条件多变、场景也十分多样。然而，在视觉信号稀疏且上下文有限的情况下，现有 VLM 基准测试尚未充分评估模型在这一领域的性能。为弥补这一不足，我们提出了 OpenHome，一个仅基于视觉、采用四选项选择题形式的基准测试，用于评估对智能家居视频的理解能力。I