AI 自動翻訳
2026年10月24日、arXivプラットフォームに新たな研究が公開され（論文番号：arXiv:2610.30841v1）、TRIAD——全モーダル（テキスト・画像・音声）の曖昧さ解消能力を専用に設計された初の評価基準——が提案されました。その核心的な目的は、マルチモーダル大規模言語モデルが、人間と同様に、モーダル間の手がかりの補完を通じて、単一モーダルでは確定できない意味の曖昧さを解決できるかどうかを検証することです。
TRIADは、テキスト、画像、音声の各モダリティから構成される327件の手作業で作成された三モダリティ・サンプルを含み、それぞれに質問と複数の選択肢が付随している。その構築原則は、3つのモダリティがすべて揃って初めて正解が一意に特定されるというものであり、いずれかのモダリティを削除すると、残された情報と複数の選択肢が両立する状況が生じる。このベンチマークは、86のシナリオ群および18種類の跨モダリティ的曖昧さのタイプを網羅している。
14の全モーダルシステムに対する評価によれば、単一サンプルレベルでは強力な性能を示していても、シナリオグループレベルでの曖昧さ解消においては依然として人間を大きく下回っており、最優秀モデル群の正答率は人間よりも20ポイント以上低い。選択肢形式の設問を除外し（すなわち自由記述にした場合）、モデル群の正答率はさらに一桁台に低下する一方で、人間のパフォーマンスは安定して維持される。また、逆事象分析からは、現行のシステムはテキストと画像が共存する状況において、音声情報の利用を全般的に弱めていることが明らかになった。