新研究揭示开放书评分主要衡量阅读行为而非知识存储
2026年10月24日发布的arXiv论文（2610.31017v1）指出，在文档级LoRA适配器评估中，开放书评分（open-book scoring）高度依赖模型即时阅读能力，而非适配器是否真正编码了对应文档的知识；随机适配器在开放书任务中可复现82%的专家适配器优势，但在无源文本的完形填空（cloze）任务中仅复现2%（统计上不可区分于零）。
推荐理由：该研究通过系统控制实验（150篇维基百科文章、Llama-3.1-8B-Instruct模型、双任务对比）揭示了当前开放书评估范式的根本局限性：它无法有效区分‘读取’与‘记住’，对知识编辑和检索型适配器的实际效用构成方法论挑战；论文同时报告了四个导致‘干净但错误结果’的静默错误，凸显可复现性风险。