斯坦福大学与加州大学伯克利分校的研究人员推出 TokenGate:基于令牌的注意力机制使长上下文预填充速度提升高达 11.3 倍
斯坦福大学与加州大学伯克利分校研究人员提出TokenGate——一种可即插即用的学习型令牌剪枝模块,适用于现有大语言模型(LLM)。该方法在不损失准确率的前提下,将长上下文预填充的首字生成时间(TTFT)加速1.4至11.3倍,峰值内存降低1.5至3.4倍。相关代码与检查点已开源。
检索标题、摘要与正文,把分散的信息连起来。
斯坦福大学与加州大学伯克利分校研究人员提出TokenGate——一种可即插即用的学习型令牌剪枝模块,适用于现有大语言模型(LLM)。该方法在不损失准确率的前提下,将长上下文预填充的首字生成时间(TTFT)加速1.4至11.3倍,峰值内存降低1.5至3.4倍。相关代码与检查点已开源。
Sebastian Raschka于2026年10月24日在Ahead of AI杂志(magazine.sebastianraschka.com)发布一套共八讲、超11小时的Python与PyTorch实操视频课程,系统讲解推理模型的评估、推理时扩展、强化学习(RLVR)与知识蒸馏,基于预训练Qwen3-0.6B模型实现全部方法。
推荐理由:该课程是作者继《从零构建大语言模型》后推出的进阶技术教育内容,聚焦当前主流LLM的核心演进方向——推理能力增强,覆盖从基础环境搭建到GRPO强化学习、自蒸馏等完整技术链,且明确声明所有实现均‘从零手写’、可复现,具备强教学性与工程参考价值。
AWS发布Multi-Turn Reinforcement Learning(MTRL)功能,使用户可在SageMaker AI上基于完整任务轨迹与最终结果反馈训练大模型智能体,无需步骤级标注;以Wordle为示例演示全流程,涵盖AgentCore部署、数据准备、GRPO训练、奖励设计及成本分析。
西班牙宠物护理公司 IskayPet 利用 Amazon Bedrock 托管知识库(Managed Knowledge Bases),在无需自建 RAG 基础设施的前提下,建成覆盖西班牙、葡萄牙、法国三国及西、葡、法、英四语的企业级知识助手,支持零售、兽医、入职与采购等业务场景。
微软研究院发布Flint-interactive,一种构建高表达力、语义化交互式数据可视化的专用语言。它通过编译器将用户操作(如点击、刷选)自动映射为语义事件,并以高层算子驱动图表、表格、文本等多元素联动更新,显著降低AI代理生成可靠交互可视化所需的成本与开发复杂度。