斯坦福大学与加州大学伯克利分校的研究人员推出 TokenGate:基于令牌的注意力机制使长上下文预填充速度提升高达 11.3 倍
斯坦福大学与加州大学伯克利分校研究人员提出TokenGate——一种可即插即用的学习型令牌剪枝模块,适用于现有大语言模型(LLM)。该方法在不损失准确率的前提下,将长上下文预填充的首字生成时间(TTFT)加速1.4至11.3倍,峰值内存降低1.5至3.4倍。相关代码与检查点已开源。
检索标题、摘要与正文,把分散的信息连起来。
斯坦福大学与加州大学伯克利分校研究人员提出TokenGate——一种可即插即用的学习型令牌剪枝模块,适用于现有大语言模型(LLM)。该方法在不损失准确率的前提下,将长上下文预填充的首字生成时间(TTFT)加速1.4至11.3倍,峰值内存降低1.5至3.4倍。相关代码与检查点已开源。
AWS发布Multi-Turn Reinforcement Learning(MTRL)功能,使用户可在SageMaker AI上基于完整任务轨迹与最终结果反馈训练大模型智能体,无需步骤级标注;以Wordle为示例演示全流程,涵盖AgentCore部署、数据准备、GRPO训练、奖励设计及成本分析。