2026年10月26日，arXiv发布题为《MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring》的研究论文（编号arXiv:2610.31679v1），提出MISCONCEPTDIALOGUE——一个全自动评估框架，用于系统检验大语言模型（LLM）在数学辅导任务中检测错误、诊断潜在误解并开展多轮补救教学的能力。
该框架在五种开源权重LLM（参数量7B至14B）与LLM模拟学生之间运行超5000轮对话，采用配对实验设计（含故意错误诊断对照组），明确声明其模拟性质不构成对真实学生学习效果的验证。研究核心发现是评估方法本身引发巨大偏差：标准数学NLP常用的精确匹配（exact-match）评分仅报告42.1%的补救成功率，而同一组对话经人工校准的LLM裁判评估后达81.3%，二者相差39.2个百分点——该差距远超模型架构、教学策略或诊断信息供给等变量的综合影响。
这一测量偏差并非个别裁判偏差所致：四组独立LLM裁判与200条人类标注结果高度一致（Cohen’s kappa最高达0.91）。更关键的是，当向LLM辅导模型提供真实误解信息或人为调换的错误信息时，其补救表现几乎无变化，说明当前诊断信息呈现格式下，模型未能可靠地依据诊断结果调整教学行为。
论文据此呼吁：LLM数学辅导评估亟需转向多维度评分、多裁判共识与人类标注锚定相结合的标准实践；对‘如何测量’的审慎程度，应等同于对‘是否具备能力’本身的探究。