本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

b11979

sycl:再配置済みレイアウトのデクアンタイズストア(Q4_0、Kクアンツ、IQ3、MXFP4)をベクトル化(#30976)* sycl:再配置済みQ4_0デクアンタイズストアをワイド化 再配置済みレイアウトのQ4_0変換カーネルは、各ワークアイテムごとに1つのqsバイトを処理し、2つのスカラー・ストアで16要素ずつ間隔を空けて配置していました。これに対して、#30775でQ8_0カーネルに適用されたのと同じ処理を行います:1つの32要素ブロック内に4つのqsバイト(8つの出力)を含む、フラットなsycl::range<1>による起動と、2つのベクトル・ストアを使用します。スカラー・カーネルと同じ浮動小数点演算と丸め方式を採用し、出力はビット単位で同一です。既存のk % QK4_0 == 0というアサートにより、32要素のブロックが完全に確保されるため、k/8での起動で各行を正確にカバーできます。これにより、現在参照されていないスカラーの再配置カーネルは削除されます。Arc Pro B70、プリフィルを事前準備(再配置済みテンソル上でデコード後にプリフィルを実行):+6.4%~+7.3%

経緯と関連報道

ASRock Creator Radeon AI Pro R9700 レビュー:AMD流のワークステーション推論性能

本日は、ワークステーション向けのASRock製ハイエンドRadeon AI推論カード「Creator Radeon AI Pro R9700」をご紹介します。32GBのメモリを搭載し、価格は1,700ドルというこのカードは、ローカルでのAI推論を実行するワークステーションを手頃なコストで構築するうえで非常に優れた選択肢です。記事「ASRock Creator Radeon AI Pro R9700レビュー:AMD流ワークステーション向け推論」は、ServeTheHomeに初出しました。

経緯と関連報道

i14がLaplace 3B線形注意力モデルを発表:AWS Trainium2とネイティブPyTorchを基に、固定状態メモリでの推論を実現

i14は、30.28億パラメータを備えるLaplace 3Bモデルを発表しました。このモデルでは、Softmaxアテンションの代わりにゲート制御線形アテンション(GLA)を採用しており、推論時の各シーケンスあたりの再帰状態は常に29.5 MBで、コンテキスト長に依存しません。同モデルは、AWS trn2.48xlarge(Trainium2チップ16基搭載)1台でトレーニングおよびサービス検証を実施し、トレーニングスループットは12万トークン/秒、サービススループットは11,544出力トークン/秒(1,280同時実行シーケンス)に達しました。すべての性能データは、i14とAWS GenAIICチームによる社内実測結果です。

経緯と関連報道