(本記事の著者はTech商業であり、ティメディアが許可を得て掲載しています)
文 | Techビジネス
インターネットの黄金の10年において、字節跳動は神のような存在と称される組織マシンでした。その“App工場”モデル、フラットなアジャイル開発体制、そして極度に競争が激化する“レースメカニズム”によって、テンセントとアリババの挟撃をものともせず、TikTokのような世界規模の巨大企業へと躍進しました。
しかし、この企業が最も輝かしい資金、最高峰の計算能力、そして最大規模の人材プールを携えて大規模モデル時代に参入したとき、かつての“強力な武器”は、むしろ自らの最も深い弱点へと突き刺さる結果となった。
最近、Xプラットフォーム上で字節のSeedチームをめぐる議論が、大規模モデルブームの背後にある最も冷酷な組織上の隠れ蓑を剥ぎ取りました。暴露者は率直に指摘しています:Seedには優秀な人材と大量の計算リソースがあるにもかかわらず、LLM(大規模言語モデル)の進展は十分に速くない。その原因は技術的な制約ではなく、組織上の問題——すなわち、字節の「レース馬」型の評価・報酬制度が、大規模モデルの研究開発にはまったく適合していない——だというのです。
これまでの公開報道で明らかになった、ByteDanceのSeedチームが「投毒」を訓練した当事者の自述や、コメント欄での「大規模モデルの重工業型ライン生産」に関する議論と相まって、極めて荒唐無稽な現実が浮かび上がってきた。すなわち、人類史上で最も複雑なシステム工学である大規模モデルという課題の前では、ByteDanceが誇る「レース制」では、AGIへと至るロケットは飛び立たないのだ。
画像はTwitterより
「レース」が「重工業」とぶつかるとき
大手企業の幹部には、しばしば致命的な経路依存が見られます。彼らは、大規模なモデルを単なるより複雑なアプリの一種と捉え、十分な人数のチームを投入して互いに競わせ、社内でのバトルを繰り返せば、最強のモデルが生まれると考えています。
これはモバイルインターネット時代が刻み込んだ思想の鋼印である。
コメント欄のある業界関係者が的確にまとめたように、「大規模モデルの事前学習は、本質的に精密な重工業のようなライン生産工程に似ています。トークン化とフィルタリング、データの比率調整から、数千~数万のGPUによるトポロジーにおける通信のチューニングに至るまで、各工程は隙間なく連携し、全体として協調して進められなければなりません。」
この重工業のシステムでは、個々がバラバラに動く余地は一切ありません。数万台ものGPUを一元的にスケジュールし、数十兆単位のトークンを統一してクリーニングし、基盤となるインフラ(インフラストラクチャ)アーキテクチャを一貫して整える、高度に集権化された指揮本部が必要です。たとえわずかなデータ比率の誤りや、数千枚のGPUを構成するクラスター内のわずかなネットワークケーブルの緩みであっても、数か月にわたり数千万ドルもの費用を投じて行われた学習が完全に頓挫するおそれがあります。
では、「レースメカニズム」の核心とは何か。それは、小刻みに迅速に進むこと、リソースの分離、チーム間の過当競争、そして勝者至上主義である。
モバイルインターネットのレース競争的な仕組みを、全体的な協調が求められる超大規模なクラスター開発に無理やり適用した結果、本来は一丸となって大きなことを成し遂げるべき「スーパー計算力プール」が、個々が孤立して戦う「リソース孤島」へと細分化されてしまったのです。
リーク記事では、ByteDance社内ではリソースの抱え込みが常態化していると指摘されている。すでに計算能力を確保したチームは、たとえその計算能力が遊休状態であっても、他チームに共有するのを極力避け、自らの手元で無駄にしてしまうのだという。皆が隣のチームが自分たちよりも優れた成果を上げるのを警戒し、情報が不透明でコミュニケーションには互いへの警戒心が満ち、重要なコードやデータすら隠し合っている状況だ。
これはByteDanceだけの深刻な問題ではありません。リーク情報提供者は、シリコンバレーの巨大企業にも同様の問題があると付け加えています。Google社内では、Geminiを開発するチームはGPU不足を訴えている一方で、収益を生み出す広告部門には大量のGPUが配備されており、外部からは彼らがその計算能力を実際に何に使っているのかが見えません。なお、このGoogle社内の計算資源配分に関する具体的な指摘は、現時点でリーク情報の伝聞にすぎず、独立した信頼できる情報源による裏付けはまだありません。しかし、それが示す部門間の壁や利己主義は、まさに大規模モデル時代における高額な沈没コストであると言えるでしょう。
半年間洗い出したデータ、OKRの責任は誰が負うのか?
大規模モデルの研究開発には「規模が大きい」だけでなく、「静かさ」も不可欠です。フロントエンドのコードを書くように、すぐに派手なUIの反応を見られるわけではなく、膨大で退屈なデータの洗浄や煩雑な通信のチューニングが必要となります。
そして、大手企業で極度に競争が激化するKPI/OKR体制の下では、このような「静かさ」は許されません。
リーク記事では、研究開発者たちの極めて現実的な悩みが描かれています。LLMの開発には、いわゆる“天才的ひらめき”はそれほど必要ではありません。真の仕事とは、データと環境を着実に整え、インフラの効率を徹底的に追求することです。しかし、一流の天才たちで構成されるこのチームのメンバーは、本質的にはイノベーションを志し、プロジェクトを率いていきたいという思いを抱いているのです。
「数か月ごとに評価するOKRも加えると、この半年はひたすら汚いデータの洗浄に追われていて、年末のOKRをどう書けばいいのか?」――これはまさに行き詰まりです。
現行の評価制度の下では、データの洗浄やレアアースの除去、通信のチューニングといった、大規模モデルの性能下限を実際に左右する“泥仕事”は、見栄えの良い報告用PPTやトップカンファレンスでの論文に結びつくことはありません。もし従業員がOKRの達成のために、最も目立つ上、論文投稿が容易なアーキテクチャの革新に取り組んでしまうとしたら、そのような“泥仕事”は誰が担うのでしょうか?
誰も手を付けなければ、そのモデルは有毒なデータを摂取し、最終的に災害を招くことになります。
これまで業界に衝撃を与えた、字節のSeedチームによるモデル訓練への「毒入り」攻撃事件は、まさにこうした極端な過当競争と組織内の分断が生み出した結果である。最も直接的な被害者である元社員のShoufaChen氏は、数か月間にわたる調査・対立・疑念の日々を、非常に苦痛を伴いながら振り返っている。数か月にわたり、チームは毎日、モデル性能の不可解な急落や、互いの業務上のミスを非難し合う状況に直面していた。
公開報道によれば、これは単なる技術的なバグではなく、元インターンがトレーニング環境において組織的に破壊行為を仕掛けたものである。具体的には、基盤となるコードの改ざん、トレーニングプロセスのランダムな強制終了、バックドアの仕込みに加え、障害を偶発的な事故として偽装するといった手口が用いられた。チーム間でリソースの奪い合いから互いに警戒し、研究者が自らのプロジェクトを守るために実際のデータ障害を隠蔽するようになると、巨大な大規模言語モデルは気づかないうちに崩壊へと向かってしまう。大手企業のOKR制度は本来、人間の潜在能力を引き出すためのものであったはずだが、結局は人間の最も近視眼的で利己的な側面を引き出してしまう結果となっている。
欠けている「Research Group」
さらに興味深いのは、別のコメントだ。「Byteは最も多くのリソースを有しているが、本格的なResearch group(研究チーム)は一つもない。」
この企業は過去数年間、技術ブログにおいて非常に華やかな発信を行い、優れたインフラフレームワークや基盤アルゴリズムを数多く公開してきました。しかし、よく見ると、彼らの技術的成果と実際に投入された計算資源との間には、極めて不釣り合いな非線形関係が見られます。数万枚ものGPUを投入しても、得られるのはしばしば局所的な最適化による「小さな技術的勝利」であり、基盤レベルでの「パラダイム的な大きな飛躍」とはほど遠いのです。
なぜでしょうか?大手企業の「研究院」は、多くの場合、依然として事業部門の付属組織にすぎません。彼らには「最先端でありながら実用化も求められる」という課題が課せられ、トップカンファレンスでの論文発表で技術力を証明すると同時に、すぐにTikTokに連携して広告推薦を実施できるようにしなければなりません。こうした「両立を求める」ジレンマにより、研究者は一つの方向性に長期的に集中することが難しくなっています。
しかし、大規模モデルの時代において、真の研究とは「コストを惜しまない試行錯誤」と「長期的な視点による寛容さ」を必要とするものである。
マイクロソフトはOpenAIに最高水準のスパコンセンターを構築し、彼らが数年かけてようやくGPT-4を生み出せるようにした。一方、DeepSeekは幻方のバックグラウンドを背景に、極限まで自由度の高い計算リソースの冗長性と極めてフラットなオタク文化を有しており、数十人の小さなチームでもMoEアーキテクチャへの一念発起により、最後まで突き進むことができる。それに対し、大手企業では、計算リソースの自由な配分権を確保し、短期的なDAUにこだわらない評価制度を整備しなければ、天才たちはデータ洗浄の高度なライン作業員に成り下がるか、GPU争奪戦のために内輪もめするオフィスの政治家にしかならないだろう。
注目すべきは、公開報道によれば、字節はその後、Seedチームの組織統合を推進し、Seed Edgeプロジェクトの四半期OKRおよび半年ごとの評価を廃止したという点である。これは、従来の「レース方式+短期間の評価」体制が、もはや持続不可能になっていることを間接的に示している。
結論:「アプリ工場」に別れを告げ、「大手企業」を再構築する
実は、これは字節だけの話ではありません。アリババ、テンセント、グーグル――「App工場」という古い枠組みで「大規模モデル」という新しい酒を注ごうとする、あらゆる伝統的な巨大企業が、いずれも苦しい陣痛を経験しています。
大規模モデルは、フロントエンドのコードを数行書けばすぐに公開できるミニプログラムではありません。それは人類の知識を極限まで圧縮した壮大なエンジニアリングであり、極めて大規模で過酷でありながら、強固な結束が不可欠な核融合のようなものです。企業には基盤レベルのハードウェアスケジューリング能力が求められ、長期にわたる「成果のない」段階も許容しなければならず、さらに短期的な決算報告を超えた、究極の信念が不可欠です。
大手企業が依然として「社内レース」「OKRによる成果主義」「各自の領域にとどまる」といった従来のインターネット業界の古い考え方を抱いているのであれば、たとえ数万枚もの計算能力を持つGPUを備えていても、結局は上には届かず下にも追いつかない“リソースの孤島”にしかならないでしょう。
未来の勝者は、必ずしも最も多くのGPUを保有する企業ではない。むしろ、古い部門間の壁を大胆に打ち破り、あらゆる計算資源を一つに結集し、優秀な人材が喜んで一年間データの洗浄に従事できるような組織こそが、最終的な勝者となるだろう。結局のところ、計算能力は資金で調達できるが、シリコンベースの生命の進化論に適合した「研究産業システム」を構築するには、骨身を削るような自己変革が必要である。OSを刷新しなければ、大手企業はAGIへの狭き門を越えることはできないのだ。
本記事は、微信公式アカウント「Tech商業」より転載され、著者:Tech商業によるものです。許可を得て掲載しています。
さらに詳しい内容は、钛媒体のWeChat公式アカウント(ID:taimeiti)をフォローするか、または钛媒体Appをダウンロードしてください。