2026年10月27日
阿里·贝赫鲁兹，资深研究科学家，以及瓦哈布·米罗克尼，副总裁兼谷歌院士，谷歌研究院
我们在持续学习中引入了一个睡眠阶段，使大型语言模型能够在不断整合新知识、提升推理能力的同时，有效缓解灾难性遗忘或静态知识截断问题。
现代大型语言模型通过预训练和上下文学习（ICL）实现了令人瞩目的性能。然而，一旦部署，它们在很大程度上保持静态，仅依赖于固定的已知数据截止日期，这使得它们无法获得长期能力或适应新信息。
尽管用新数据更新模型看似显而易见，但持续的参数更新往往会导致灾难性遗忘——这是一种根本性问题，即在学习新任务时会严重损害对先前任务的性能。此外，如果严格依赖于ICL，则知识的保留仅限于当前的上下文窗口：一旦上下文会话结束，所获得的短期信息便会随之遗忘。
受人类大脑在休息时处理并稳定记忆机制的启发，我们在持续学习中提出了一种睡眠框架：这是一种为大型语言模型（LLMs）赋予连续周期性生命周期的学习范式，使其能够不断学习，并将脆弱的短期上下文逐步巩固为稳定的长期参数。借助这一框架，我们证明，在主动交互与离线记忆巩固之间交替进行，能够让大型语言模型持续获取新知识、保留长达1000万token的长上下文知识，并提升复杂推理能力。
重新思考机器学习：主动（唤醒）与睡眠阶段
传统机器学习依赖于训练与推理之间的严格分离。而在持续学习的框架下，这种区分变得人为；智能体必须不断学习、适应并处理信息。
在睡眠范式下，大型语言模型（LLM）主要在两种状态之间运行：
活跃（唤醒）阶段：模型主动接收、处理输入并与之交互，同时将临时信息存储在快速的短期记忆组件中。
睡眠阶段：模型暂停处理新输入，并将其内部计算转向记忆巩固与自我改进。
尽管“睡眠”、“做梦”和“自我提升”等术语借鉴了神经科学，但我们的框架完全基于固定的模型架构和人为设定的训练规则运行。在离线的“睡眠”阶段，模型会解锁预先分配的专家混合（MoE）内存块，并利用自动生成的练习样本更新其数值权重。这一自动化的后训练循环有助于已部署的模型吸收新知识、提升推理精度，同时保持其核心代码库与设计不变。
睡眠过程的关键组成部分
睡眠范式通过记忆巩固与梦境两个阶段来应对灾难性遗忘和持续适应问题。
1. 记忆巩固
在人脑中，非快速眼动（NREM）慢波睡眠通过抽象与提炼，将脆弱的记忆巩固为长期记忆结构。我们提出的睡眠框架通过两种关键技术机制，模拟了这一自然现象：
参数扩展与连续体记忆层次结构：为防止灾难性遗忘，模型在休眠期间会动态调整其容量。通过混合专家（MoE）与Hope架构，新解锁的低秩专家被整合到稳定的低频记忆块中，以存储新输入的知识，同时不会干扰旧参数。
知识播种（向上蒸馏）：存储在高频层中的脆弱短期记忆（例如，在上下文中的记忆）被迁移到新扩展的长期参数中。这一过程通过广义知识蒸馏（GKD）与基于强化学习（RL）的模仿学习相结合来实现：策略内蒸馏：扩展后的学生模型从基于自身采样序列生成的教师分布中学习逐标记的反馈。模仿学习（LTI）：当学生模型完成教师生成文本的前缀时，会依据语义相似度和绝对相似度（莱文斯坦距离）获得奖励。
突触修剪：一旦记忆整合至低频模块完成，高频临时参数将被重置，从而为未来的活跃会话释放存储空间。
我们的睡眠框架概述：来自活跃阶段的输入流在进入睡眠周期之前会被存储于短期记忆中，该周期随后分为两个分支：巩固阶段（通过低秩结构与MoE机制，将脆弱的短期令牌转移至扩展的长期参数化记忆）和梦醒阶段（借助随机专家与强化学习精炼的合成路由实现自主自我提升）。
2. 梦想自我提升
在快速眼动睡眠期间，人脑会主动模拟各种情境，巩固情感与语义之间的联结，并探索新的神经通路。与此相呼应，在“做梦阶段”，睡眠系统也会启动一个自主的自我优化循环：
随机专家选择：在生成合成数据的过程中，MoE 路由器会随机激活非标准专家。这迫使模型混合不同领域的知识，并发现潜在的模式。
精选式微调：该模型生成合成训练样本（“梦境”），并借助基于梯度的数据选择方法对其进行筛选，以优先选取那些最有可能提升模型整体性能的样本。
RL精调：该模型在评分最高的梦境样本上进行监督微调，并评估生成结果是否能提升下游任务的性能。
理论基础
除了实证结果之外，我们的睡眠范式还建立在一项理论之上，该理论阐明了为何其两个阶段（记忆巩固与梦境）能够在不以新知识取代旧能力的前提下，持续支持学习。
在记忆巩固方面，分析表明，知识播种可以被理解为一个结构化的低秩压缩问题。模型无需将其短期记忆中的每一个细节都复制到参数中，而是识别出一组紧凑的方向，这些方向能够最大程度地保留模型自身的策略内行为以及学习目标所奖励的语义特性。
这种视角解释了两种信号的互补作用：策略内蒸馏使知识整合与模型在推理阶段实际生成的轨迹保持一致，从而缓解了仅基于教师生成分布进行训练时可能出现的不匹配问题；与此同时，语义奖励则决定了哪些信息值得保留，优先选择那些能够保持语义和任务相关行为的方向，而不仅仅是单纯匹配标记概率。随后，参数扩展提供了必要的容量，以便将这些被选中的记忆写入，同时避免覆盖先前已整合的知识。
对于梦境生成，该理论将随机专家激活与基于奖励的样本选择视为改善学习几何结构的机制。引入不同的MoE架构能够拓宽合成生成过程中所探索的梯度方向集合，使模型接触到比仅由其正常唤醒时段数据所引发的更新更为丰富的信息集合。随后，基于梯度的过滤机制会突出那些携带最有用学习信号的合成样本，强化具有信息价值的方向，同时保持底层梯度空间的结构完整性。
综上所述，这些步骤共同构建出一个更为均衡的优化景观：学习过程不再被少数几个方向所主导，梯度的条件更加良好，模型在提升自身能力时也能取得更稳定的进展。从这一视角来看，梦境生成并不仅仅是自动生成的数据增强；它是一种经过精心设计的过程，用于实现更新的多样化、选择与整合，从而推动模型的自我改进。
在多个主要评估维度上，我们的睡眠框架与基线方法（如上下文学习和监督微调）的性能对比，这些维度包括类别增量学习、持续翻译、长上下文扩展至1000万令牌、事实知识融入以及数学推理。
对于持续性翻译，针对满语和卡拉芒语等未见过的语言，在多阶段评估中，睡眠框架的表现几乎未出现性能下降；而诸如ICL、Cartridges以及监督微调（SFT）等标准基线方法在顺序学习过程中则遭受了严重的灾难性遗忘。
在BABILong基准上的长上下文理解任务中，我们的“睡眠”方法在扩展至1000万token时表现出近乎完美的可扩展性，通过利用睡眠时间的整合机制将长上下文信息直接压缩到参数化记忆中，其性能优于GPT-4等强劲基线模型以及Titans。
对于在SQuAD上评估的事实知识融入以及持续预训练（CPT）任务，我们的睡眠方法在单任务评估中取得了48.9%的性能，在CPT评估中取得了46.2%的性能，优于包括基础模型、SFT和自适应语言模型（SEAL）在内的基线方法，能够在不损害现有模型表示的情况下成功整合新的事实信息。
最后，在包括AIME 24/25和HMMT 25在内的数学推理基准测试中，经过睡眠增强的基座模型分别取得了79.2%、69.0%和46.1%的准确率。这一表现优于SFT、群体相对策略优化（GRPO）以及在策自蒸馏（OPSD）等基线方法，表明将记忆巩固与模仿学习相结合能够显著提升推理性能。
结论
我们的睡眠范式为构建自主且持续学习的人工智能系统开辟了一条路径。通过突破静态的预训练与脆弱的上下文窗口限制，让主动学习与离线休眠交替进行，使大型语言模型能够保持短期记忆、将新技能抽象为长期参数结构，并在不发生灾难性遗忘的情况下持续自我改进。
致谢
这项研究由阿里·贝赫鲁兹（Google与康奈尔大学）、法尔努什·哈舍米（康奈尔大学）、阿德尔·贾万马德（Google与南加州大学）以及瓦哈布·米罗克尼共同完成。我们感谢袁登和科琳娜·科尔特斯对本研究的审阅及提出的宝贵建议。同时，我们也感谢马克·辛博格、金伯利·施韦德和蒂姆·赫尔曼在撰写这篇博文过程中给予的帮助。
教育创新
通用科学
机器智能
自然语言处理
其他感兴趣的文章
2026年10月16日
将 AI 智能体置于生物现实之中：自主湿实验室的构建模块
通用科学
·
健康与生物科学
·
机器人技术
2026年10月14日
Research@ 2026：我们以10种方式赋能人类的创造力
通用科学
·
生成式人工智能
·
健康与生物科学
2026年10月14日
使用 Deep Review 分析技术文档
通用科学
·
机器智能
·
自然语言处理