AI ニュースを検索

LLM評価における集約スコアは個々の判定の不安定性を隠す：Arena-Hardによる新たな研究が指示に対する感度を明らかにした

本研究では、Arena-Hard v2.0のプロンプト500件を用い、2つのモデルによる回答を固定したうえで、GPT-4.1を審判として8種類の指示組み合わせ下で繰り返し評価を行った。その結果、集約スコアの変動がわずか（例えば±1ポイント）であっても、個々のプロンプトごとの判定結果（勝/引き分け/敗）が最大21.2%で変化することが明らかになった。さらに、指示の調整により不安定性は一層拡大し、最大で28.2ポイントもの追加の判定変動が生じる一方で、集約スコア自体はほとんど変化しない場合もあることが示された。

注目する理由：本研究は、現在のLLM評価実践における核心的な盲点——集約スコアへの過度な依存と、個々の判定の再現性および指示依存性の無視——に鋭く切り込み、嗜好モデリングやヒューマン・フィードバック強化学習（RLHF）など、細粒度の判定を必要とするタスクに対して重要な方法論上の警鐘を提示する。

マイクロソフトのMAI-DxOシステムは、複雑な症例の診断において83％の正確度を示したが、その利得の大部分は基盤となる大規模モデルに由来している。

『Science』に掲載された研究によると、マイクロソフトのAI診断システムMAI-DxOは、複雑な症例の診断シミュレーションにおいて83％の正確度を示し、一般開業医の36％を大きく上回った。しかし、分析結果からは、性能向上の主因がGPT-5.5などの先進的な基礎モデルの活用にあり、DxO独自のアーキテクチャによる限界的な利得は限定的であり、救急外来などの日常的な場面では顕著な優位性は認められなかったことが示されている。