FusionEval은 2026년 10월 24일 arXiv에 게시된(논문 ID: arXiv:2610.30162v1) 신규 출시된 모델 퓨전 평가 벤치마크입니다. 이 기준의 핵심 목적은 여러 분야 전문가 모델의 성능을 하나의 단일 모델로 통합했을 때의 효과를 체계적으로 평가하는 데 있으며, 특히 기존 평가에서 간과되어 온 장기 추론 및 도구 호출 능력에 중점을 두고 있습니다.
이 벤치마크는 통제된 전문가 모델 풀을 구축하며, 모든 전문가는 Qwen3와 Llama 기반 모델을 기반으로 독립적으로 학습하여 수학, 프로그래밍, 과학, 명령어 준수 및 도구 활용 등 다섯 가지 주요 분야를 포괄합니다. 평가 스위트는 학습이 있는 방식과 없는 방식의 두 가지 융합 방법을 통합하고, 여덟 개의 공개 벤치마크에서 능력 유지 정도와 계산 비용을 일관되게 평가합니다. 보고서에는 정규화된 평균 점수, 최악의 성능, 실행 시간 및 최대 GPU 메모리 사용량이 포함됩니다.
실험 결과에 따르면, 학습이 필요 없는 융합 방법은 추론 능력을 비교적 잘 유지할 수 있지만 도구 활용 과제에서는 상당한 성능 저하가 나타났다. 반면 MOPD 방법은 도구 호출 능력을 더 잘 보존하고 보다 균형 잡힌 능력 분포를 구현하지만, 별도의 데이터 준비와 추론 적응 및 학습 과정이 필요하다. 낮은 계산 비용으로 추론, 명령 준수 및 도구 활용 능력을 동시에 유지하는 방안은 여전히 해결되지 않은 과제로 남아 있다. 프로젝트 코드는 오픈소스로 공개되어 있다: https://github.com/Baicaihaochi/FusionEval_Benchmark。