保留完整资讯流，用来源、主题和时间找到你关心的消息。
arXiv：2610.31986v1 发布类型：新 提要：视觉语言模型（VLMs）正越来越多地被应用于消费级智能家居摄像头系统，用于解析录制的视频并提供洞察。然而，从智能家居摄像头捕获的视频片段与现有VLM基准测试中占主导地位的精选网络视频存在显著差异。智能家居视频片段通常不包含字幕或旁白，并且拍摄角度各异、光照条件多变、场景也十分多样。然而，在视觉信号稀疏且上下文有限的情况下，现有VLM基准测试尚未充分评估模型在这一领域的性能。为弥补这一不足，我们提出了OpenHome，一个仅基于视觉、采用四选项选择题形式的基准测试，用于评估智能家居视频理解能力。I
arXiv：2610.32229v1 发布类型：新 摘要：在低于8位的算术运算下训练大型语言模型（LLMs）有望显著提升内存带宽和计算吞吐量，然而FP4格式引入的量化误差若不加以处理，将严重扰乱优化过程。我们提出ALTO，这是一种开源的训练方案，用于在MLPerf小型MoE训练基准测试中，以MXFP4微缩尺度格式训练GPT-OSS-20B——一款拥有200亿参数的专家混合模型（MoE）。该方案融合了Abecassis、Felix等人[arXiv:2509.25149]提出的成熟技术（混合1D/2D块量化、随机化哈达玛变换以及随机舍入），并结合了一种基于TetraJet-v2[arXiv:2510.27527]改进的简化权重去振荡机制。在全局批量大小为C4的验证集上
arXiv：2610.32115v1 发布类型：新 摘要：稀疏混合专家（MoE）是一种强大的范式，可用于扩展神经机器翻译（NMT）并应对语言异构性。然而，实际限制阻碍了其在资源受限设备上的部署：整个专家池必须常驻内存，且在训练过程中，每个标记的计算预算由严格的 top-k 路由机制静态固定。我们提出了 EDWARD-NMT（用于 NMT 的弹性维度与自适应路由及双重一致性），这是一种新颖的 MoE 编码器—解码器架构，旨在实现“一次训练、随处部署”的范式，并在推理时提供一系列可部署的子网络。EDWARD-NMT 集成了三项关键创新：(i) 采用套娃式弹性维度，以灵活降低内存占用；(ii) a
一项发表于2026年10月26日arXiv的最新研究（arXiv:2610.31821v1）表明，在古典阿拉伯诗歌检索任务中，用户对诗句的记忆残留程度（如是否记得半行诗）比模型能力更关键地决定了检索性能；BM25在“舌尖效应”类查询中优于所有稠密编码器（含8B参数SOTA模型），但在抽象查询中大幅落后。
推荐理由：该研究通过双语料库、三索引模式与双评估协议的系统性基准测试，首次量化揭示了查询抽象度对不同检索范式（词法vs.稠密）的支配性影响，并经人类标注员与开源权重模型双重验证，结论具有方法论普适性与实证稳健性。
arXiv：2610.31945v1 发布类型：新 摘要：本报告介绍了 Kolibri，一种英德混合专家Transformer模型，总参数量为781亿，每token的活跃参数量为34.6亿，并以Apache 2.0许可证公开发布其权重。我们构建Kolibri旨在支持主权化与专业化部署，尤其聚焦于德语以及公共管理、工业和航空航天等受监管领域。为满足这些应用场景，我们全程把控模型研发流程，涵盖数据、架构、训练基础设施、后训练阶段及评估环节。我们在预训练、中期训练和长上下文扩展三个阶段累计使用24T tokens进行训练，其中德语数据在字节层面占比超过20%。为实现这一比例，我们通过补充德语数据集来
arXiv论文（2610.31678v1）指出，在交互式大语言模型评估中，仅依赖自动评分器的整体准确率或F1分数会掩盖提示特定错误，导致对提示效应的误判；实证显示同一评分器在不同提示下的假阳性率差异巨大（2.6%–33.3%），且表面显著的9.3点效应在双LLM评审下缩至2.3点且不显著。
推荐理由：该研究基于真实实验数据（6个模型、180个虚构实体问题、6种提示条件），揭示了当前LLM评估中普遍存在的方法论漏洞——将 scorer 整体性能等同于其在关键对比任务中的可靠性。其核心主张（须分别审计各提示、纳入不确定性）具有明确实证支撑和可操作建议，时效性强（2026-10-26发布），来源可信（arXiv预印本平台）。
arXiv于2026年10月26日发布的论文《MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring》提出MISCONCEPTDIALOGUE自动化评估框架，基于5000+轮对话测试5种开源小参数LLM（7B–14B）作为数学辅导模型的表现。研究发现，主流的精确匹配（exact-match）评分方式仅得42.1%补救成功率，而经人工校准的LLM裁判评估同一对话达81.3%，差距达39.2个百分点；且该偏差非偶然——四类LLM裁判与200条人工标注结果高度一致（kappa最高0.91）。此外，模型对诊断信息（正确/错误概念）响应几乎无差异，表明其难以有效利用诊断输入。
推荐理由：该研究直指当前LLM教育应用评估方法论的核心缺陷：依赖单一、僵化的自动评分可能严重扭曲真实能力判断；其大规模模拟实验设计、多裁判收敛验证及对诊断-教学耦合失效的实证，为AI教育评估标准化提供了关键警示和可复现的方法论基准。
2026年10月24日，研究者在arXiv发布论文arXiv:2610.30841v1，正式推出TRIAD基准——专用于评估文本、图像与音频三模态协同歧义消解能力的新评测框架。该基准含327个手工构建的三模态样本，覆盖86个场景组和18类跨模态歧义类型。
推荐理由：该成果直击当前多模态大模型评测的核心盲区：现有基准多聚焦确定性输入下的感知或推理，而TRIAD首次系统性地以‘模态互补消歧’为评测目标，通过严格设计的留一模态反事实测试，揭示模型（尤其对音频）利用不足、场景级鲁棒性薄弱等关键缺陷，为下一代全模态模型评估提供可复现的诊断协议与分类法。
arXiv:2610.30355v1 Announce Type: new Abstract: Hallucinated citations make it harder to trace sources and verify the evidence behind scientific claims. Detecting them is difficult because bibliographic records can be incomplete or differ across source types and publication versions. A plausible match alone neither validates the citation nor establishes its underlying source. We introduce CiteResolve, a benchmark of 423 real-world hallucinated citations annotated for source recoverability. We further propose CiteAnchor, a source-aware grounding framework that adapts retrieval and field-level verification to each source type and separately determines citation validity and whether a unique source can be recovered. On an existing detection benchmark, CiteAnchor achieves 0.841 F1 with GPT-5.6
译文排队中，当前为原文 · en2026年10月24日，研究者在arXiv发布论文arXiv:2610.30162v1，提出FusionEval——首个专用于评估大语言模型融合方法的统一基准，覆盖推理链长度、工具调用等薄弱环节，并支持训练型与免训练型融合方法对比。
推荐理由：该基准填补了现有评测对长链推理与工具使用覆盖不足的空白，明确区分平均性能与最差能力保留，提供可复现的专家池（基于Qwen3/Llama）、多维指标（含GPU内存与运行时）及开源代码，具强实践指导性。
一篇于2026年10月24日发布在arXiv的论文指出，当前主流编码智能体基准（如SWE-Milestone）存在“规范-预言机差距”：任务自然语言描述未涵盖测试所需的关键实现细节（如常量名、模块路径、精确错误消息），导致评测实际衡量的是对上游代码的复现能力而非真正理解与推理能力。
推荐理由：该研究首次形式化定义该类偏差，构建覆盖五种语言的静态审计工具（精度89.2%，召回率92.9%），并在SWE-Milestone中实证发现25个里程碑任务含不可推断的隐式依赖，显著拉高失败率（80.6% vs 48.4%），揭示当前排行榜可能系统性偏爱‘抄名称’型智能体；成果已开源审计工具与修正资源，具方法论与实践双重价值。
2026年10月24日，arXiv发布论文arXiv:2610.30970v1，系统评估参数量介于1700万至10亿之间的紧凑编码器在闭合集决策任务（如工具选择）中的设计选择：联合阅读所有选项 vs. 逐个独立评分。研究发现，在3200万参数规模下，逐选项评分在技能指标上显著优于联合评分；但其计算开销更高、延迟更不均衡。多个System1-Arena基准测试显示，6800万和1.5亿参数的联合编码器超越4.35亿参数DeBERTa-v3零样本分类器。
推荐理由：该论文提供了当前大模型下游决策模块轻量化设计的关键实证比较，涵盖架构选择、初始化依赖、延迟-精度权衡及输入顺序鲁棒性等工程关切点，数据基于三随机种子实验与公开/私有基准验证，发布时间（2026-10-24）与当前UTC日期（2026-10-25）一致，属最新可信研究进展。
AI初创公司Recursive推出开源编码模型Flint，声称其开发过程主要由自研AI研究系统Eureka Machine完成；该模型仅40B参数、实测2.5B激活，可在普通笔记本（如M4 Pro MacBook）离线运行，推理速度达131 token/s，SWE-Bench等基准测试中表现优于多数同规模模型。
NVIDIA推出预训练关系型基础模型Kumo Relational，可直接在企业级关系数据库上执行预测任务（如流失、欺诈、需求预测），无需任务微调、特征工程或表扁平化。在41项跨15个数据库的基准测试中全面超越XGBoost等监督模型，在SAP SALT企业基准上MRR指标领先AutoGluon达8%；支持5000亿行规模数据库，通过Predictive Query Language（PQL）实现零代码预测调用。
IBM研究院提出ALTK-Evolve方法，通过GPT-4.1自动从自身任务轨迹中提炼结构化行为指南（如身份认证、退款确认等），以纯提示工程方式注入ReAct代理系统，在不更新模型权重、不依赖人工标注的前提下，显著提升客服任务的准确率与可靠性；其零售分支以67.5% Pass⁴成绩位列τ²-bench 2026年10月12日榜单第一，超越所有前沿模型及微调系统。
Learn how OpenAI is improving ChatGPT across low-resource programming languages, with new evaluations for software engineering, SQLite, and COBOL migration.
译文排队中，当前为原文 · enWe’re launching ReviewBench, a benchmark for code review agents built on representative GitHub pull requests, multi-source ground truth, calibrated evaluation, and production-aligned metrics. The post ReviewBench: An open benchmark for AI code review appeared first on The GitHub Blog.
译文排队中，当前为原文 · en打开 TTS 领导板: 多种语言文字对语音和语音克隆的可扩展评价
联合王国AISI和EvalEval如何创造基准成果
