要旨：高性能な一般行列乗算（GEMM）の実装は、ピーク性能を達成するために、GEMMを慎重に選定されたタイルに分割することに依存しています。本稿では、特定のハードウェアおよび入力行列の形状に対して最適なタイルサイズを自動的に特定する新たな解析モデルであるWaypointを提案します。Waypointは、メモリ階層との相互作用、命令レベルの並列性、マルチスレッド処理など、あらゆるアーキテクチャ上の影響を捉えることで、与えられたタイル選択に対する達成可能な性能を推定します。この推定値を指標として、可能なタイルサイズの探索空間を網羅し、性能を最大化するサイズを特定します。さらに、Waypointはハードウェア設計者が実験的なハードウェア最適化による現実的な性能を評価するのにも役立ちます。我々は、CPU向けの新しいGEMMライブラリOPAMを構築し、Waypointを用いてGEMMを自動的に分割することで、最先端のGEMMライブラリに匹敵する性能を実現するとともに、CPU上での大規模言語モデルの推論を1.36〜1.98倍高速化することに成功しました。
投稿履歴
論文へのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
音声要約
現在の閲覧コンテキスト：
参考文献・引用
Google Scholar
Semantic Scholar
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsを利用する個人および組織は、オープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーという当社の価値観を積極的に受け入れ、尊重しています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。