本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

スタンフォード大学とカリフォルニア大学バークレー校の研究者らがTokenGateを発表:トークンゲート型アテンションにより、長文コンテキストのプリフィル処理が最大11.3倍高速化

スタンフォード大学とカリフォルニア大学バークレー校の研究者らは、既存の大規模言語モデル(LLM)に適用可能なプラグアンドプレイ型の学習ベースのトークン剪枝モジュール「TokenGate」を提案しました。この手法は、精度を損なうことなく、長文コンテキストに対する初期文字生成時間(TTFT)を1.4倍から11.3倍に加速し、ピークメモリ使用量を1.5倍から3.4倍削減します。関連コードおよびチェックポイントはオープンソースとして公開されています。

Researchers from Stanford and UC Berkeley Introduce TokenGate: Token-Gated Attention Makes Long-Context Prefill Up to 11.3x Faster
経緯と関連報道

低資源言語における研究の進捗と言語的包摂の測定

arXiv:2610.30296v1 発表タイプ:新規 要旨:大規模言語モデル(LLMs)は、低資源言語および多言語NLPに関する研究を加速させてきたが、公平な研究環境の実現にどの程度寄与しているかについては未だ明らかになっていない。本研究では、2020年から2025年にかけて公開された査読付きオープンアクセス論文1,158件を対象に、低資源言語(LRLs)への研究関心や、言語・話者集団間の代表性を分析した。出版数以外の観点から言語的包摂を評価するため、研究成長、代表性拡充、代表性継続性、分布的公正性の4つの次元で言語的包摂を測定する多次元フレームワーク「言語的包摂フレームワーク(LIF)」を提案する。年間の論文数は52件から415件へと5.4倍に増加した一方で、ACLアンソロジーにおける

Measuring Research Progress and Linguistic Inclusion in Low-Resource Languages
経緯と関連報道

Claude Mods:注意力インターフェースの初の実践、人間がプログラミング可能なエージェントインタラクション層

Claude Mods は、Anthropic が提供する Claude Code のプログラマブルなプラグインシステムで、『Attention Interface』の初期形態を示しています。これは、従来の機械向けエージェント実行時フレームワーク(agent harness)から、人間の注意力に焦点を当てたカスタマイズ可能なインタラクション層へと転換したものです。ユーザーは TypeScript や JS を用いて Mods を作成したり、自然言語で Claude に自動生成を指示したりすることで、いつ中断されるか、どのような内容を閲覧するか、どのような意思決定を行うかを自在に制御できます。

経緯と関連報道

Claude Mods:プログラマブルな注意機構インターフェースにより、人間とAIエージェントの協働パラダイムを再定義

Claude Mods は、Anthropic が提供する開発者向けのプログラマブルなプラグインシステムであり、エージェントハーネスがマシン側のインターフェースから人間側のインターフェース――すなわち「アテンション・インターフェース」(Attention Interface)――へと移行したことを示しています。これにより、ユーザーは TypeScript/JavaScript を用いて Claude Code の動作やレンダリング、インタラクションロジックをカスタマイズし、人間とAIが共同でワークフローを設計できるようになります。この仕組みは、You Should Know などの組み込み機能にもすでに活用されており、ユーザーによる独自の構築や、Claude の支援によるプラグインの生成もサポートしています。

経緯と関連報道

i14がLaplace 3B線形注意力モデルを発表:AWS Trainium2とネイティブPyTorchを基に、固定状態メモリでの推論を実現

i14は、30.28億パラメータを備えるLaplace 3Bモデルを発表しました。このモデルでは、Softmaxアテンションの代わりにゲート制御線形アテンション(GLA)を採用しており、推論時の各シーケンスあたりの再帰状態は常に29.5 MBで、コンテキスト長に依存しません。同モデルは、AWS trn2.48xlarge(Trainium2チップ16基搭載)1台でトレーニングおよびサービス検証を実施し、トレーニングスループットは12万トークン/秒、サービススループットは11,544出力トークン/秒(1,280同時実行シーケンス)に達しました。すべての性能データは、i14とAWS GenAIICチームによる社内実測結果です。

経緯と関連報道

PyTorch 2.15 は MPS を正式にサポート:FP8、MoE の高速化、および Metal カーネルが全面的にアップグレードされました

PyTorch 2.15 は、Apple Silicon Mac に重大な MPS バックエンドのアップグレードをもたらし、macOS 上で初めて FP8 テンソル演算をネイティブにサポートします。また、MoE モデルのデコード速度が 5~6.5 倍に向上し、ビデオ VAE のデコードにおけるピークメモリ使用量は 270 GiB から 8 GiB へと大幅に削減され、さらに多数のオペレーターが MPSGraph から専用の Metal カーネルへ移行されました。

経緯と関連報道

アディ・オスマニ、モーガン・ウェストリー・ラント、およびチン・ワンの引用

「この変更で何が問題になる可能性があり、それを捉えるのに適切なチェックは自動化されたものか人間によるものか?」という問いは、「コードを人間が読んだのか?」という曖昧な指標とは異なると考えています。その質問の意味も、レビューの実施タイミングによって変わります。以前は、レビューは道の終わりにあるゲートのようなものでした。コードを書き、プルリクエストを開き、同僚の対応を待つだけです。しかし今では、レビューは継続的に進行し、まるで入力中のスペルチェックのような形になっています。多くの変更は、人間が確認する前に少なくとも一度はClaudeによってレビューされ、修正されています。これにより、日常的なミスの多くが事前に発見され、チームの注意力はより高度な課題や厳密な検証に集中できるようになります。— アディ・オスマニ、モーガン・ウェストリー・ラント、およびチン・ワン著『Claude Codeチームのコードレビューの進め方』 タグ:アンソロピック、Claude、AI、Claude-Code、LLMs、アディ・オスマニ、コーディングエージェント、生成AI、エージェンティックエンジニアリング

経緯と関連報道