見出し・要約・本文から、情報のつながりを探します。
arXiv:2502.02727v4 発表タイプ：置換・交差 要旨：クライアントドリフト補償手法は、フェデレーテッド学習（FL）におけるデータの非均一性の影響を軽減します。確率的勾配降下法（SGD）ベースのFLではドリフト補正が十分に研究されてきましたが、適応型クライアント最適化手法との相互作用についてはまだ十分に解明されていません。Adamなどの適応型最適化手法は、過去の勾配の移動平均を用いて各更新を行います。そのため、最終的な更新方向のみを補正しても、その移動平均とそこに含まれるドリフトは変更されません。私たちは、これらの移動平均に入る前に各勾配を補正する「フェデレーテッド適応型勾配補正（{\tt FA-GC}）」を提案し、最終的な方向に補正を加える「フェデレーテッド適応型素朴追跡（{\tt FA-NT}）」と比較しました。実験により、ある理想的な
arXiv:2610.34914v1 発表タイプ：新規 要旨：高性能な一般行列乗算（GEMM）実装は、ピーク性能を達成するために、GEMMを慎重に選定されたタイルに分割することに依存しています。本稿では、特定のハードウェアおよび入力行列の形状に対して最適なタイルサイズを自動的に特定する新しい解析モデルであるWaypointを提案します。Waypointは、メモリ階層との相互作用、命令レベルの並列性、マルチスレッド処理など、あらゆるアーキテクチャ上の影響を捉えることで、与えられたタイル選択における達成可能な性能を推定します。この推定値を指標として用い、考えられるタイルサイズの空間を探索し、性能を最大化するものを特定します。さらに、Waypointはハードウェア設計者が実験的なハードウェア最適化に対する現実的な性能を見積もるのにも役立ちます。
arXiv:2610.32104v1 発表タイプ：新規 要旨：トランスフォーマー アーキテクチャの能力と限界を特徴付けるため、複数の形式理論が提案されており、それぞれがアーキテクチャの異なる側面を捉えるために異なる抽象化手法を用いている。これらの理論は、その基礎となる仮定や概念的枠組みに違いがあるため、トランスフォーマーにとってどのタスクが容易でどのタスクが困難かという予測において一致しないことがある。本研究では、トランスフォーマーの能力に関する7つの理論（Star-free、$\mathsf{AC}^0$、$\mathsf{TC}^0$、C-RASP、MPC、BAPO、および Sensitivity）を整理し、それらの結果を、異なる計算構造を網羅する一連のタスクに対する共通の予測マトリックスへと変換した。さらに、このマトリックスを完成させるための新たな理論的成果を提示する。その後、理論的な評価を行った
