本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

スタンフォード大学とカリフォルニア大学バークレー校の研究者らがTokenGateを発表:トークンゲート型アテンションにより、長文コンテキストのプリフィル処理が最大11.3倍高速化

スタンフォード大学とカリフォルニア大学バークレー校の研究者らは、既存の大規模言語モデル(LLM)に適用可能なプラグアンドプレイ型の学習ベースのトークン剪枝モジュール「TokenGate」を提案しました。この手法は、精度を損なうことなく、長文コンテキストに対する初期文字生成時間(TTFT)を1.4倍から11.3倍に加速し、ピークメモリ使用量を1.5倍から3.4倍削減します。関連コードおよびチェックポイントはオープンソースとして公開されています。

Researchers from Stanford and UC Berkeley Introduce TokenGate: Token-Gated Attention Makes Long-Context Prefill Up to 11.3x Faster
経緯と関連報道

Amazon SageMaker AIがマルチラウンド強化学習(MTRL)フレームワークを発表し、エージェントによる多段階タスクのエンドツーエンド学習をサポートします

AWSはMulti-Turn Reinforcement Learning(MTRL)機能をリリースし、ユーザーはSageMaker AI上で、ステップ単位のアノテーションなしに、タスク全体の遷移と最終的な結果に基づいて大規模モデルエージェントを訓練できるようになりました。Wordleを例に、AgentCoreのデプロイ、データ準備、PPOトレーニング、報酬設計、コスト分析に至るまで、一連のワークフローを実演しています。

経緯と関連報道