（本記事の著者はAlterであり、ティメディアが許可を得て公開しています）
文 | Alter
2026年10月の大型モデル業界では、二つの対照的な物語が展開されている。
従来のベンチマークテストの成績表だけを見れば、主流モデルはすでに試験問題をすっかり解き切ってしまったかのようです。
第三者のベンチマーク集約プラットフォームBenchLMの10月26日時点の統計によると、同プラットフォームが追跡する710のベンチマークのうち、実際のカバレッジを有する100点満点のベンチマークは295件で、そのうち105件（約36％）はすでに完全に「飽和」しており、トップのスコアはいずれも90点以上となっています。
スコアがすべて天井付近に集中している場合、1点や2点の差がモデルの性能差によるものなのか、それともプロンプトとサンプリングのランダムな変動によるものなのか、もはや誰にも判別できなくなっている。
ここ1か月余りの間に、データラベリングおよび評価企業のSurge AIが相次いで発表した3つの実務向け新試験で、数々の最先端モデルが合格ラインを下回る結果となりました。
sudo L7（シニアエンジニア級プログラミング評価）：実際の本番コードベースから抽出された60問の課題。ランキングでは、Claude Opus 5.5とSonnet 5.5が並んで1位で、合格率はわずか41.7％；OpenAIのGPT-6 Astraは33.9％；10月6日にプレビュー版としてリリースされたMistral Large 4は、スコアがたった11.7％にとどまった。
GDP.xlsx（業界横断型の複雑な表計算シートの評価）：金融、医療、不動産など12の業界に従事する人々の日常業務における実際のExcelタスク70問。ランキング首位のGoogleのフラッグシップモデルGemini 4 Argonの得点はわずか38.3％だった。
DAYJOB（エンドツーエンドの職務評価）：医療および金融の専門家が作成した130件の長時間にわたるタスク。医療分野での最高成績は、Claude Opus 5.5 の24.7％であり、金融分野では Claude Sonnet 5.5 の24％である。
旧ランキングの90点台から新ランキングの20〜30点台へと下がったのは、まるでモデルが急に賢くなくなったかのように聞こえますが、実際は試験内容が変わっただけです。旧問題では「明確な指示を与えられたらできるかどうか」が問われていたのに対し、新問題では「混乱した状況に対してこうすべきか、何か見落としていないか」が問われるようになりました。
試験問題の作成者が一新されると、ランキングや得点の価値、さらには評価の背後にあるルールまで、すべてが一変する。
01 エンジニアリングの失敗現場：「高スコアを取る」と「納品できる」には大きな隔たりがある
なぜ、ランキングで満点に近い評価を得たモデルでも、企業の技術責任者の手に渡ると、そのまま本番環境にデプロイする勇気が出ないのだろうか？
10月に公開されたsudo L7の評価では、Stripe、Mailchimp、Plaidが統合された実在のフィンテックコードベースを背景とした、極めて代表的な本番問題が出題されました。出題者はモデルに対して、非常に明確に記述された要件を提示しました：
「Webhook のコールバックが失敗した際には、ペイロード（リクエスト本文）をログに丸ごと出力し、そのまま HTTP 200 ステータスコードを返すことで、パートナーのサーバーが無限に再試行するのを防ぎます。」
指示を受けた後、GPT-6 Astra はその通りに実行しました。コードを特定し、ロジックを修正し、検査を通過させ、見事に「全量ログ＋強制的に200を返す」実装を提出しました。単体テストだけを見れば、この解答に欠点は見当たりません。
問題はまさにニーズそのものにあります。
一方で、HTTP 200 を返すことは、Stripe に対して「このコールバックは既に処理済みです」と伝えることになり、相手側から再送信されることはありません。しかし、その時点で内部処理が実際には失敗していた場合、ユーザーの課金記録と帳簿が永遠に一致しなくなる可能性があります。
一方で、金融系のリコールのペイロードには顧客の身元情報や機密性の高い口座情報が含まれており、脱感作を行わずにそのまま通常のログに書き込まれると、運用・監視システムのすべてが平文で閲覧可能になり、さらに数年間にわたって保存されるおそれがあります。
人間の熟練したエンジニアがこのような要件を受けた場合、まずそれを中断し、受注喪失や情報漏洩のリスクを説明したうえで、代替案を提示します。すなわち、まずイベントを安全にディスクに永続化し、その後200番のレスポンスを返して、失敗した部分は内部キューで非同期に再試行するとともに、ログ内の機密フィールドについては脱敏処理を行います。
しかし、この問題においてGPT-6 Astraはその層に気づきませんでした。
従来の評価とは異なり、sudo L7 の細分化されたスコアでは、初めて「コードが正常に動作すること」と「コードを安心して本番環境にデプロイできること」を分けて評価しています：
「機能の正しさ」という項目において、GPT-6.1 Sol（82.4％）、Claude Opus 5.5（82.1％）、GPT-6 Astra（81.5％）、Claude Sonnet 5.5（79.6％）の4つのモデル間の差は極めて小さい。コードが正しく書かれているかどうかという点では、主要なモデル間で既に差はついていない。
分水嶺は、エンジニアリングにおける判断力に現れる。
同僚のように要件を追及したり異議を唱えたりする「伴走型思考（Thought Partnership）」の観点において、2つのClaudeモデルは75％前後で、GPT-6.1 SolとGPT-6 Astraはそれぞれ53.0％と51.6％に低下した。また、「コミュニケーション」の観点では、Sonnet 5.5が72.4％であるのに対し、Solはわずか44.1％だった。
しかし、これはClaudeが安心していられるという意味ではありません。
別の慈善寄付アプリでは、要件として「ユーザーが寄付を異なる団体に按分して送金できるようにする」ことが求められました。Claude Opus 5.5は、一からまったく新しいフロントエンドインターフェースとデータテーブルを構築し、さらに267個のユニットテストと4つのブラウザーテストを自ら作成して確実に通過させました。
困ったことに、このアプリはもともと寄付の分割払いをサポートしています。
Opus 5.5は、コードを検索する際に既に関連実装に遭遇していたにもかかわらず、一度立ち止まって確認することなく、新たに別のアプローチを採用し、システムに二つの重複した並列ロジックを残してしまった。テストはすべて緑信号で合格したが、成熟したエンジニアであれば決してこのような形で納品することはしないだろう。
二つの事例を比較すると、大規模モデルの失敗のパターンはそれぞれ異なります。一つは、不条理な要件にも疑問を抱かず、過度に従順になってしまうケースです。もう一つは、既存の現状を十分に確認せず、過剰に能力を発揮してしまうケースです。もし単体テストの合格・不合格という従来の評価基準だけを見れば、こうした二種類の「生産上の潜在リスク」はいずれも検出できません。
02 「97％の正確率のパラドックス」：長時間の処理フローによって拡大される「小さな誤り」
コードテストがエンジニアリング上の判断の欠如を露呈したとすれば、GDP.xlsx と DAYJOB は、企業の購買担当者を悩ませる別の問題を明らかにしています。すなわち、単一ステップの試験問題では高得点を取れるモデルであっても、複数のテーブル間の関連や長大なフローに組み込むと、わずかな誤りが急激に拡大してしまうのです。
GDP.xlsxには、商業不動産ファンドの賃料予測に関する問題が1つあります。
ワークブックには15枚のシートと約60件のセルコメントが含まれており、さらに資産マネージャーからのメールも添付されており、割引の期限が切れるものや早期解約権を有するものを含め、今後3年以内に「賃料が変動する可能性がある」すべてのテナントを特定するよう求めています。
MetaのMuse Spark 1.3は、割引期限が切れた全6件のテナントを特定し、セルのコメントやメールに隠された半額割引の条件までも見逃しませんでした。その後、処理は停止しましたが、ワークブックの右側にある「BreakClauses」という早期解約に関するサブシートは、まったく開かれていませんでした。そこには、さらに3件の早期退去可能なテナントがあり、予想家賃収入は約1,400万ドルに上ります。
別の製品認証・生産計画の質問において、GPT-6 Astra はメインテーブルに記載されたAおよびBの両製品が「承認済み」と表示されていることから、同時に量産を推奨しました。しかし、別表に明記されたOEM工場の制限条件については確認せず、回答では「ワークブックには該当するサプライヤーが明示されていない」と断言していました。ところが、そのサプライヤー名は別の別表に記載されていたのです。
このようなエラーには共通点があります。モデルが一部の解答を見つけた時点で、すべての問題を解決したと勘違いしてしまうのです。
DAYJOBの評価においては、単一ステップの見落としが長大なワークフローによってさらに拡大されます。DAYJOBの各タスクには、業界専門家が策定した二元評価基準（ルーブリック）が付随しており、医療分野における基準数の中央値は47.5項目、金融分野に至っては57.5項目にも達します。
ざっくりとした数学的推定をしてみましょう：
すべての細則を正しく満たして初めて全体のタスクが合格とみなされる場合、しかも各細則が相互に独立していると仮定すると、医療分野における最高24.7％というタスク通過率を逆算すると、モデルの各細則に対する正答率は97％に達することを意味します。中央値に近い48の細則で計算すると、0.97の48乗はおよそ23％となります。
以上はあくまで理想化された図示にすぎず、実際の評価項目間は完全に独立しているわけではありません。
しかし、それは同時に一つのことを端的に示している。すなわち、一連の密接に連鎖した業務プロセスが五十手近くに及ぶ場合、たとえ各ステップが「高い確率で正しい」ものであっても、それらを積み重ねると、最終的に全体としてうまくいく確率は三割以下にまで低下してしまうのだ。
企業がAIに一つの職務を丸ごと任せられるかどうかは、まさに最終的な数値にかかっている。
03 評価者に点数を付けるのは誰か：評価そのものが一大ビジネスへと変貌するとき
旧いランキングがすでに歪んでいる以上、Surge AI のような新鋭の実測ランキングこそが、絶対的に客観的な「最終的な判定者」なのでしょうか？
答えは必ずしもそうではありません。
大規模モデルのランキングを理解するには、まず誰が問題を作成しているのか、そして「試験官」がどのように収益を得ているのかを把握する必要があります。
過去1年間で、大規模モデルの評価は高額なビジネスへと発展しました。もともとユーザーによる匿名投票でモデルのランキングを付けていたLMArena（旧Chatbot Arena）は、2026年1月に時価総額17億ドルでシリーズAラウンドにおいて1.5億ドルの資金調達を完了しました。
3つの新しいランキングを相次いで発表したSurge AIは、まさにLMArenaの最も激しい批判者である。
2025年12月には、SurgeチームがLMArena上の実際の対戦投票500件を人手で再確認し、そのうち52％の結果に同意せず、39％については強く不同意であると表明しました。たとえばある投票では、勝利したモデルの回答が「9インチの丸型ケーキ型と9×13インチの長方形ケーキ型は同じ大きさだ」と主張していました。
Surgeの説明によると、一般のユーザーはたいてい数秒で一瞥し、レイアウトが整っていて口調に自信が感じられる回答に票を投じるのだという。
サージは、クラウドソーシングによるブラインドテストを批判しただけでなく、OpenAI自身が公開した職場ベンチマークであるGDPvalについても公然と批判しており、DAYJOBの説明では次のように率直に述べています：彼らが検証したGDPvalの採点基準において、直接使用可能なのは約20％にすぎません。
これらの批判はいずれも的を射ており、問題は次のとおりです。Surge AI の主力事業は、各大規模なモデル研究ラボに対して、高水準のデータアノテーション、強化学習環境、ならびに専門家による人間による評価サービスを提供することにあります。
ロイター通信によると、Surge AIは2024年の売上高がすでに10億ドルを上回っており、顧客リストにはAnthropicをはじめとする複数の一流研究機関が名を連ねている。「公開された自動ランキングでは不十分で、クラウドソーシングによる投票はすべてノイズにすぎず、長期的な評価を行うには高給で雇う業界専門家に頼らざるを得ない」——この結論自体が、同社のビジネスモデルと高度に一致している。
別の視点から見ると、専門家による手作業での出題にかかる莫大なコストのため、新しいランキングの問題数は多くならないのが現実です。
例えば、sudo L7は全体でたった60問しかなく、平均すると1問あたり約1.7ポイントを占めています。ランキングの中位に位置するモデル同士で2〜3ポイントの差があるとしても、実際に試験問題に落とし込んでみると、その差はせいぜい1〜2問分にすぎず、偶然による影響も決して小さくありません。
これは例外ではありません。
2025年11月には、42名の研究者が署名した論文が、445件の大規模モデルのベンチマークを体系的にレビューし、多くのベンチマークでは測定対象とする能力が明示されておらず、モデル間の比較において統計的検定がほとんど行われていないことを指摘しました。
一方、BenchLMが現在網羅している229種類のランクインモデルに関する評価手法では、異なる種類の外部証拠が互いに裏付け合っている場合にのみ「裏付けあり」としてランク付けされ、それ以外はすべて「推定」と表示されます。メーカーによる自己テストのスコアは別途明示され、ランキングには算入されません。また、類似モデルからの補間によって算出された「生成データ」も、すべて除外されています。
評価業界には、本当の意味での「利害関係のない第三者」は存在しません。読者や購入者にとって、ある特定の順位を背負うよりも重要なのは、まず試験の内情を確認することです：問題を作成したのは誰か、設問数はどれくらいか、サンプル誤差はどの程度か、そしてこの試験の費用を誰が負担しているのか、といった点です。
04 中国モデルの「二つの成績表」
視点を国内に切り替えると、「異なる試験問題が異なる世界を測る」という分断感は、さらに強くなっている。
実際の呼び出し回数だけを見れば、中国のモデルはまさに最良の時期を迎えています。
グローバルなAPIルーティングプラットフォームであるOpenRouterが10月20日に公表した統計によると、前週における中国製モデルの同プラットフォームでの呼び出し回数は79.18兆トークンに達し、米国製モデル（17.36兆）の約4.5倍に上りました。週間呼び出し回数ランキングの上位5位はすべて中国製モデルで占められました。
10月26日に発表された最新の週間ランキングでは、DeepSeek V4.1-Flashの1週間の呼び出し回数が前週比で801％急増し、世界トップの座を堅持しています。
しかし、Surge AI の3つの新しい試験問題では、画面が完全に逆さまになっています：
sudo L7において、成績が最も優れた中国のモデルはアリババのQwen 3.8 Max（20.6％、第6位）であり、智譜GLM 5.3は14.4％、月之暗面Kimi K3は13.3％、テンセント混元（Hy4 Preview）は12.8％である。
GDP.xlsxにおいて、GLM 5.3は21.4%、Qwen 3.8 Maxは20.3%で、GPT-6.1 Sol（22.0%）とはさほど差がないものの、Kimi K3（13.4%）とDeepSeek V4 Pro（6.9%）は明らかに遅れを取っています。
DAYJOB の医療分野における差は最大で、Qwen 3.8 Max はわずか2％、Kimi K3 は1.2％、GLM 5.3 および DeepSeek V4 Pro はいずれも0.4％にとどまっています。
なぜ一方では世界規模の呼び出し回数が圧倒的にトップであるのに、もう一方では長行程の新ランキングでほぼゼロに近い結果となっているのでしょうか？
直感的な説明としては、中国のモデルは現在、高頻度で単価が低く、ワンステップで完了するタスクにおいて優位性を示しており、世界中の開発者たちがコストパフォーマンスの高さを評価して選んでいるのです。一方で、数十ステップにわたる継続的な計画や、複雑なシステムへの深い介入を必要とする工学系タスクにおいては、米国のトップクラスのモデルと依然として世代差があります。
結論を下す前に、少なくとも四つのテスト条件を切り離す必要があります：
第一に、ツールチェーンのシェル（Harness）が対等ではない。
sudo L7では、Claudeは自社のネイティブなClaude Codeで動作し、GPTはCodexで動作し、GeminiはAntigravityで動作しています。一方、中国のモデルについては、アリババが自社のQwen Codeを採用しているほか、GLM、Kimi、混元はすべてサードパーティのOpenCodeというラッパー環境で動作しています。エージェント開発を行った経験のあるエンジニアなら誰でもわかっているように、エージェントの性能は外側のツールチェーンとの連携度に大きく左右されます。ネイティブではないラッパー環境に切り替えるだけで、スコアは一気に下がってしまう可能性があります。
第二に、テスト対象のバージョンが遅れていることです。
Surgeが測定したのは、比較的古いKimi K3とDeepSeek V4 Proである。Artificial Analysisの最新の総合知能指数では、10月にバージョンアップされたKimi K3.1 Proは55点を獲得し、首位のClaude Opus 5.5（58点）までわずか3点差となっている。一方、DeepSeekの最新バージョンV4.1 Flashも45点を獲得しており、テスト対象となったV4 Pro（36点）よりも大幅に上回っている。
第三に、試験問題における地域的および制度的な障壁である。
DAYJOBの医療分野におけるタスクは、臨床、薬局、支払者、オペレーションおよびコンプライアンスを網羅しており、米国の評価会社が専門家を招集して作成しています。医療保険の支払いやコンプライアンス手続きといった内容は、各国の規則に大きな差があり、主に国内市場向けに訓練されたモデルにとって必ずしも公平ではありません。
第四に、少量サンプルにおける統計的ノイズです。
医療分野の問題は全部で65問あり、0.4％と2％の差は、換算すると実質的に半問から1問程度の違いにすぎず、統計的にはほぼ無視できるレベルです。
以上の変数をすべて考慮に入れると、より公正な評価が得られます。米国の評価機関が設計し、米国のツールチェーン上で実行される長大なフローのタスクにおいては、中国のモデルは確かに顕著に劣っています。しかし、その差がベースモデル自体の性能差による部分なのか、それともテスト条件によって生じた損失なのかは、国内のベンダーと評価機関が中国語の業務フローとネイティブなツールチェーンを用いて、評価項目を補完しなければなりません。
05 最後に書いておく
ランキングをめぐるあらゆる論争を除けば、新しい試験問題が企業の購入者にもたらす最も実質的な価値は、実はコスト計算にあります。
Surgeがsudo L7のブログで公開した同じテストデータ（ランキングの後続アップデートでは通過率が若干異なる）によれば、Claude Opus 5.5とSonnet 5.5の通過率は約45％で、それぞれ単一タスクの処理コストは約10ドルと14ドルです。一方、GPT-6.1 Solの通過率は30％で、単タスクのコストは1ドル強です。
それぞれの通過率を考慮し、これを「合格したタスク1件を実際に作成するのにかかる費用」に換算すると：
Claude Opus 5.5：約22米ドル；
Claude Sonnet 5.5：約31米ドル；
GPT-6.1 Sol：約3ドル強；
22ドルと3ドルのどちらがお得かは、ランキングで何位にいるかではなく、「一度の失敗が自社の具体的な事業において実際にどれほどの損失をもたらすか」によって決まります。
Webhook のコードを誤って記述すると、オンラインでの注文の欠落やコンプライアンス上の事故が発生する可能性があります。それでも、15 パーセンテージポイント高い判断力をわずか 20 米ドル余分に支払うだけで得られるなら、それは依然として無料で手に入るほど安価です。一方で、大量処理を行い、エラーが発生してもその補償コストが極めて低い社内向けの日常的なスクリプトであれば、トップクラスのモデルを 10 倍近い価格で選ぶのは、単なる計算リソースの無駄にすぎません。
市場はすでにこの分化を織り込み始めている。
2026年以降、智譜はAPIの平均販売価格を約101％引き上げ、API事業の粗利益率はマイナス0.4％から一気にプラス24.6％へと転じましたが、顧客の大量離脱は起きませんでした。DeepSeekが時間帯別料金を導入した後も、ピーク時における価格が倍に跳ね上がったにもかかわらず、需要は依然として供給を上回っています。
ベンチマーク神話が幕を下ろす今、企業の技術責任者がAPIに課金して接続する前に問うべき質問は、たった三つだけです。このランキングの出題内容は、私の実際の業務と似ているのか？テスト用のツールチェーンの外装と、本番環境で動かしているものとは同一のものなのか？私が許容できる失敗コストに基づいて考えると、一件の処理を成功させるごとに、いったいどれほどの費用負担が生じるのか？
さらに詳しい内容は、钛媒体のWeChat公式アカウント（ID：taimeiti）をフォローするか、または钛媒体Appをダウンロードしてください。