
2026年10月24日、arXivプラットフォームにおいて新たな研究が正式に公開され、論文番号2610.30828v1でTutorCaseBenchが発表されました。これは、注意欠陥、情動調節障害、社会的コミュニケーションの課題など、学習や行動に困難を抱える学生を対象に設計された、大規模言語モデル(LLM)の家庭教師能力評価用ベンチマークとしては世界初のものです。
TutorCaseBenchは、一般的な教育評価の枠組みを捨て、教授法・教育心理学・特別支援教育の分野における質的ケーススタディに根ざしたアプローチへと転換しました。体系的なプロセスを通じて、文献に記録された生徒の行動カテゴリーを具体的な授業場面や教員―生徒間の対話サンプル、さらには実証に基づく採点基準へと変換しています。このベンチマークには、5つの典型的な問題行動を網羅する923件の構造化された教員―生徒間の対話が含まれており、さらに二重評価のために1,560問のオープンエンド型応答生成問題と2,537問の戦略選択問題が設定されています。
現在最も先進的なLLM 11種類を対象としたテストにおいて、最も優れたモデルであっても、オープンエンド生成タスクでは設定された評価基準を満たすケースがわずか55.8%にとどまりました。これに対し、マルチオプション形式の質問に対する戦略識別能力は明らかに高いものでした。この差は、LLMが一般的に介入原則を具体的で適切かつ文脈に即した応答へと変換する能力を欠いていることを浮き彫りにしています。特に、オープンソースの重みパラメータを持つモデルにおいてその傾向が顕著です。すべてのデータはオープンソースとして公開されており、GitHub 上でホストされています(https://github.com/kixlab/TutorCaseBench)。