2026년 10월 24일, 새로운 연구가 arXiv 플랫폼(논문 번호 2610.30828v1)에 공식적으로 발표되었으며, 이는 주의력 결핍, 정서 조절 장애, 사회적 의사소통의 어려움 등 학습 및 행동상의 어려움을 겪는 학생들을 위해 특별히 설계된 대규모 언어 모델(LLM)의 가정교사 역량 평가 벤치마크인 TutorCaseBench를 최초로 제시한 것입니다.
TutorCaseBench는 범용 교육 평가 패러다임을 지양하고, 교수법, 교육심리학 및 특수교육 분야의 질적 사례 연구에 기반을 두며, 체계적인 프로세스를 통해 문헌에 기록된 학생 행동 범주를 구체적인 수업 상황, 교사와 학생 간 대화 샘플, 그리고 근거에 기반한 채점 기준으로 전환합니다. 이 벤치마크에는 총 923개의 구조화된 교사-학생 대화가 포함되어 있으며, 다섯 가지 유형의 전형적인 문제 행동을 포괄하고, 이중 평가를 위해 1,560개의 개방형 응답 생성 질문과 2,537개의 전략 선택형 질문이 마련되어 있습니다.
현재 가장 앞선 11개의 LLM을 대상으로 한 테스트에서, 최고 성능을 보인 모델은 개방형 생성 과제에서 설정된 평가 기준을 단 55.8%의 사례에서만 충족했습니다. 이에 비해 다지선다형 문제에서의 전략 인식 능력은 훨씬 우수했습니다. 이러한 격차는 LLM들이 개입 원칙을 구체적이고 적절하며 맥락에 맞는 응답으로 전환하는 데 있어 전반적으로 부족한 점을 드러내며, 특히 오픈소스 가중치 모델에서 그 현상이 더욱 두드러집니다. 모든 데이터는 GitHub에 공개되어 있습니다(https://github.com/kixlab/TutorCaseBench）。)