AI 自動翻訳
トークンの生成を高速化するには、まず推論性能を制限している要因を特定することから始まります。NVIDIA DGX Spark 上で Inclusion AI の Ling-3.0-flash をバッチサイズ1で評価したところ、プロファイリングによりデコード処理がメモリ制約下にあることが明らかになりました。すなわち、モデルの重みを読み込む動作が実行時間を左右していたのです。その中でも特に目立ったのは、専門家混合（MoE）計算と、モデル全体にわたるスコアを出力する出力層の射影という二つの演算でした…
ソース