AI 自動翻訳
FusionEvalは、新たに公開されたモデル融合評価基準で、2026年10月24日にarXivにて公開されました（番号：arXiv:2610.30162v1）。その核心的な目的は、複数の分野の専門家モデルの能力を統合して単一のモデルとする際の効果を体系的に評価することであり、特に既存の評価では十分に注目されていない長鎖推論およびツール呼び出し能力に重点を置いています。
このベンチマークは、制御された専門家モデルのプールを構築しており、すべての専門家はQwen3およびLlamaベースモデルに基づいて独立して訓練され、数学、プログラミング、科学、指示遵守、ツール利用の5つの主要分野をカバーしています。評価スイートには、訓練済みと未訓練の両方の統合手法が組み込まれており、8つの公開ベンチマーク上で能力保持度と計算コストを統一して評価します。報告書では、正規化平均スコア、最悪のパフォーマンス、実行時間、およびピーク時のGPUメモリ使用量を示しています。
実験の結果、訓練不要型の融合手法は推論能力を比較的良好に維持できるものの、ツール利用タスクにおいて顕著な性能低下が見られる一方で、MOPD手法はツール呼び出し能力をより効果的に保持し、より均衡のとれた能力分布を実現するものの、追加のデータ準備や推論の適応、ならびに訓練プロセスが必要であることが示されました。計算コストを低く抑えつつ、推論能力、指示遵守能力、およびツール利用能力を協調して維持する方法は、依然として未解決の課題です。プロジェクトのコードはオープンソース化されています：https://github.com/Baicaihaochi/FusionEval_Benchmark。