2026년 10월 24일, arXiv 플랫폼에 새로 발표된 학술 연구(논문 번호: arXiv:2610.30504v1)에서 일본어 환경을 대상으로 한 대규모 언어 모델(LLM)의 사실 검증 평가 벤치마크인 JSFactCheckBench가 공식적으로 출시되었습니다. 이 벤치마크는 기존 평가 체계의 핵심적 결함을 해소하기 위해 설계되었으며, 그동안 모든 벤치마크가 ‘진술이 다루는 질문’, ‘각 진술에 대한 판단 기준’, 그리고 ‘증거로 인정되는 정보 출처’라는 세 가지 핵심 설계 요소를 동시에 명확히 규정하지 않았다는 점을 지적합니다.
JSFactCheckBench에는 일본 소셜 플랫폼에서 널리 퍼졌던 오해를 불러일으키는 정보에 대해 LLM이 작성한 답변을 바탕으로 한 총 1,913개의 진술이 포함되어 있으며, 각 진술은 사전 선정된 온라인 출처를 기반으로 특정 참고 시점에 두 차례의 인적 검증을 거쳤습니다: 사실 여부(진실/거짓/판단 불가)와 해당 문제의 중요성 수준입니다. 연구팀은 여섯 가지 LLM을 대상으로 실험한 결과, 모든 모델에서 ‘문제를 직접 답하는’ 진술에 대한 검증 정확도가 ‘보충적 진술’보다 낮다는 점을 확인했으며, 이러한 차이는 전통적인 집계 평가 지표로는 가려져 있었습니다.
추가 실험에 따르면, 검증 과제에서 모델이 더 긴 텍스트나 여러 출처로부터 관련 정보를 찾아내야 할 때에는 모든 모델의 점수가 하락했다. 또한 네 가지 오픈소스 모델 모두에 대해, 원래 질문과 LLM의 전체 응답을 맥락으로 추가한 경우에도 사실 검증 성능이 크게 악화되었다. 논문은 이러한 취약점들이 JSFactCheckBench에서 각 주석의 배후에 존재하는 구체적인 조건이 명시적으로 기록된 경우에만 식별될 수 있었으며, 벤치마크에서 이러한 메타 정보가 제거된다면 이러한 체계적 편향은 관찰되거나 원인 규명이 불가능해질 것이라고 강조한다.