2026年10月27日
アリ・ベフルーズ、シニアリサーチサイエンティスト、およびヴァハブ・ミロクニ、VP兼Googleフェロー、Googleリサーチ
私たちは、継続学習において睡眠フェーズを導入し、大規模言語モデルが新たな事実を継続的に統合し推論能力を向上させるとともに、壊滅的な忘却や静的知識の断絶を軽減できるようにしました。
現代の大規模言語モデルは、事前学習と文脈内学習（ICL）によって優れた性能を実現しています。しかし、一度運用に移されると、それらはほとんど変化せず、固定された知識の更新日付に基づいて動作するため、長期的な能力の獲得や新たな情報への適応が不可能なままです。
新しいデータでモデルを更新することは一見当然の解決策に思えますが、パラメータの継続的な更新はしばしば「カタストロフィック・フォーゲット」を引き起こします。これは、新たなタスクを学習することで、以前に学習したタスクの性能が著しく低下するという根本的な問題です。一方で、ICLに厳密に依存すると、知識の保持は直近のコンテキストウィンドウに限定されます。コンテキストセッションが終了すると、獲得した短期的な情報は忘れ去られてしまいます。
人間の脳が休息中に記憶を処理し、安定化させる仕組みに着想を得て、継続学習において睡眠フレームワークを導入しました。このフレームワークは、大規模言語モデル（LLMs）に連続的かつ周期的なライフサイクルを備えさせ、それによりモデルが常に学習を続け、脆弱な短期間のコンテキストを安定した長期パラメータへと定着させることを可能にします。本フレームワークを用いて、能動的な対話とオフラインでの記憶定着を交互に繰り返すことで、LLMsは新たな事実を継続的に獲得し、最大1,000万トークンに及ぶ長文コンテキストの知識を保持するとともに、複雑な推論能力を向上させることを実証しました。
機械学習の再考：アクティブ（覚醒）フェーズとスリープフェーズ
従来の機械学習は、学習と推論を厳密に分離することに依存しています。継続的学習のフレームワークでは、この区別は人工的なものとなり、知能エージェントは常に学習し、適応し、情報を処理しなければなりません。
スリープパラダイムの下では、LLMは主に2つの状態で動作します：
アクティブ（ウェイク）フェーズ：モデルは入力を受け取り、処理し、対応することで積極的に動作し、一時的な情報を高速な短期記憶コンポーネントに保存します。
睡眠フェーズ：モデルは新たな入力の処理を一時停止し、内部計算を記憶の統合と自己改善に振り向けます。
「睡眠」「夢見」「自己改善」といった用語は神経科学から借用されていますが、当社のフレームワークは完全に固定されたモデルアーキテクチャと人間が定義した学習ルールの範囲内で動作します。オフラインの睡眠フェーズでは、モデルは事前に割り当てられた混合専門家（MoE）メモリブロックを解放し、自己生成された練習例を用いて数値重みを更新します。この自動化された学習後のサイクルにより、デプロイ済みのモデルは新たな事実を吸収し、推論精度を高めながらも、コアとなるコードベースや設計は変更されません。
睡眠プロセスの主要な構成要素
睡眠パラダイムは、記憶の定着と夢見の二段階を通じて、壊滅的な忘却と継続的な適応に対処する。
1. 記憶の統合
ヒトの脳において、非レム睡眠（NREM）の徐波睡眠は、抽象化と精製を通じて脆弱な記憶を長期的な構造へと定着させます。私たちが提案する睡眠フレームワークは、この自然現象を二つの重要な技術的メカニズムによって模倣しています：
パラメータ拡張と連続体記憶階層：壊滅的な忘却を防ぐため、モデルはスリープ中にその容量を動的に拡張します。Mixture of Experts（MoE）およびHopeアーキテクチャを用いて、新たに解放された低ランクのエキスパートを、古いパラメータを妨げることなく入力される知識を保存する、安定した低頻度の記憶ブロックに統合します。
知識の種まき（上向き蒸留）：高頻度層に格納された脆弱な短期記憶（例：文脈内記憶）を、新たに拡張された長期パラメータへ転送する。これは、一般化知識蒸留（GKD）と強化学習（RL）に基づく模倣学習を組み合わせることで実現される。オンポリシー蒸留では、拡張された学生モデルが、自己サンプリングしたシーケンス上で生成された教師分布からトークン単位のフィードバックを学習する。模倣学習（LTI）では、教師が生成したテキストの接頭辞を完成させる際、意味的および絶対的類似性（レーベンシュタイン距離）に基づいて学生モデルに報酬を与える。
シナプティック・プルーニング：低周波数のモジュールへの記憶の統合が完了すると、高周波数の一時的なパラメータはリセットされ、将来のアクティブなセッションに向けた容量が解放されます。
当社の睡眠フレームワークの概要：アクティブフェーズからの入力ストリームは、睡眠サイクルに入る前に短期記憶に保存され、その後、コンソリデーション（低ランク構造とMoEを用いて、脆弱な短期記憶トークンを拡張された長期パラメトリック記憶へ転送する段階）とドリーミング（ランダムなエキスパートによる合成ルーティングと強化学習による精緻化を通じた自律的な自己改善の段階）に分岐します。
2. 自己改善を夢見る
レム睡眠中、人間の脳は積極的にシナリオをシミュレーションし、感情的・意味的な結びつきを強化するとともに、新たな神経回路を探索します。これと同様に、「夢を見る段階」において、睡眠システムは自律的な自己改善ループを実行します：
ランダムな専門家選択：合成データの生成中に、MoEルーターは非標準的な専門家をランダムに活性化します。これにより、モデルは異なる知識領域を混合し、潜在的なパターンを発見せざるを得なくなります。
キュレーションされたリハーサル：モデルは合成の訓練サンプル（「ドリーム」）を生成し、勾配ベースのデータ選択手法を用いて、全体的なモデル性能の向上に最も寄与する可能性が高いサンプルを優先的に選別します。
RLによる精緻化：モデルは、評価の高いドリームサンプルに対して教師あり微調整を実施し、生成物が下流タスクにおける性能を向上させるかどうかを評価します。
理論的基盤
実証結果に加えて、私たちの睡眠パラダイムは、その二つの段階（記憶の定着と夢）が、単に古い能力と引き換えに新しい知識を獲得するだけではなく、継続的な学習を支える理由を明確にする理論に基づいています。
記憶の統合に関して、分析によれば、知識の種まきは構造化された低ランク圧縮問題として捉えることができる。モデルは、短期記憶の痕跡をそのパラメータに逐一コピーするよう求められるわけではない。代わりに、モデル自身のオンポリシー行動と、学習目標によって評価される意味的特性の両方を最もよく保持する、コンパクトな方向性の集合を特定する。
この視点は、二つの信号の補完的な役割を説明している。オンポリシー・ディスティルレーションは、推論時にモデルが実際に生成する軌跡と統合を一致させることで、教師が生成した分布のみを用いて学習する際に生じる不整合を低減する。一方で、意味的報酬は保持すべき内容を変えるものであり、単にトークン確率を一致させるだけでなく、意味やタスクに関連する挙動を保つ方向性を優先する。その後、パラメータ拡張によって、これらの選択された記憶を書き込む際に、以前に統合された知識を上書きしないだけの十分な容量が確保される。
夢見る際には、この理論はランダムな専門家層の活性化と報酬に基づくサンプル選択を、学習の幾何学的構造を改善するメカニズムとして捉えています。異なるMoEを導入することで、合成生成中に探索される勾配方向の集合が広がり、通常のウェイクタイム時のデータだけから生じる更新よりも、より豊かな更新の組み合わせにモデルをさらすことができます。その後、勾配ベースのフィルタリングによって、最も有用な学習信号を含む合成経験が強調され、有益な方向性が強化される一方で、基盤となる勾配空間の構造は保持されます。
これらのステップを組み合わせることで、よりバランスの取れた最適化の状況が実現します。学習は少数の方向性に過度に支配されず、勾配の条件も改善され、モデルは自身の能力を磨く際により安定した進捗を遂げられるようになります。この観点から見ると、ドリーミングは単なる自己生成によるデータ拡張ではなく、モデルが自らを向上させるための更新を多様化・選別・統合する意図的なプロセスであると言えます。
主要な評価軸（クラスインクリメンタル学習、継続的翻訳、最大1,000万トークン規模への長文コンテキストの拡張、事実知識の組み込み、数学的推論など）にわたり、ベースライン手法（イン-context学習や教師ありファインチューニングなど）と比較した当社のスリープフレームワークの性能を示す。
未見の言語、たとえば満州語やカラマング語においても、睡眠フレームワークは多段階評価において性能低下がほぼゼロに抑えられたのに対し、ICL、カートリッジ、および教師ありファインチューニング（SFT）といった標準的なベースラインでは、逐次学習中に深刻なカタストロフィックフォーゲットが生じました。
BABILongベンチマークにおける長文コンテキスト理解において、当社のスリープ手法は1,000万トークン規模までほぼ完璧なスケールアップを実現し、GPT-4やTitansといった有力なベースラインを上回りました。これは、スリープ時間によるコンソリデーションを通じて、長文コンテキスト情報をパラメトリックメモリに直接圧縮する手法を用いているためです。
SQuADおよび継続的事前学習（CPT）において評価された事実知識の組み込みに関して、当社のスリープ手法は単一タスク評価で48.9％、CPT評価で46.2％を達成し、ベースモデル、SFT、自己適応型言語モデル（SEAL）を含むベースライン手法を上回りました。これは、既存のモデル表現を損なうことなく新たな事実情報を効果的に統合した結果です。
最後に、AIME 24/25 や HMMT 25 を含む数学的推論ベンチマークにおいて、睡眠強化型のベースモデルはそれぞれ 79.2%、69.0%、46.1% の正答率を達成しました。これは、SFT、グループ相対方策最適化（GRPO）、オンポリシー自己蒸留（OPSD）といったベースラインを上回る結果であり、記憶定着と模倣学習を組み合わせることで、より優れた推論性能がもたらされることを示しています。
結論
私たちの睡眠パラダイムは、自律的で不断に学習するAIシステムへの道筋を提供します。静的な事前学習や脆弱なコンテキストウィンドウにとどまることを脱し、アクティブ・ラーニングとオフラインでの休息を交互に繰り返すことで、LLMは短期記憶を保持し、新たなスキルを長期的なパラメータ構造へと抽象化し、破壊的な忘却なしに継続的に自己改善できるようになります。
謝辞
本研究は、アリ・ベフルーズ（Googleおよびコーネル大学）、ファルヌーシュ・ハシェミ（コーネル大学）、アデル・ジャヴァンマルド（Googleおよび南カリフォルニア大学）、およびヴァハブ・ミロクニによって実施されました。本稿の査読と貴重なご意見をいただいたユアン・デン氏およびコリンナ・コルテス氏に感謝いたします。また、本ブログ記事の作成にご協力いただいたマーク・シンボーグ氏、キンバリー・シュヴェーデ氏、ティム・ヘアマン氏にも感謝申し上げます。
教育イノベーション
一般科学
機械知能
自然言語処理
他の関心のある投稿
2026年10月16日
AIエージェントを生物学的現実に根付かせる：自律型ウェットラボの構成要素
一般科学
·
ヘルス＆バイオサイエンス
·
ロボティクス
2026年10月14日
Research@ 2026：人間の創意工夫を拡張する10の方法
一般科学
·
生成AI
·
ヘルス＆バイオサイエンス
2026年10月14日
Deep Reviewで技術文書を分析する
一般科学
·
機械知能
·
自然言語処理