제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
arXiv:2502.02727v4 발표 유형: replace-cross 초록: 클라이언트 드리프트 보상 방법은 연합 학습(FL)에서 데이터 이질성의 영향을 완화합니다. 드리프트 교정은 확률적 경사 하강법(SGD) 기반 연합 학습에서는 잘 연구되어 왔지만, 적응형 클라이언트 최적화 알고리즘과의 상호작용에 대해서는 아직 충분히 이해되지 않았습니다. Adam과 같은 적응형 최적화 알고리즘은 과거 기울기의 이동평균을 기반으로 각 업데이트를 구성하므로, 최종 업데이트 방향만을 교정하면 이러한 평균과 그 안에 포함된 드리프트는 그대로 유지됩니다. 우리는 이러한 이동평균에 들어가기 전에 각 기울기를 먼저 교정하는 연합 적응형 기울기 교정({\tt FA-GC})을 제안하고, 이를 최종 방향에 교정을 추가하는 연합 적응형 단순 추적({\tt FA-NT})과 비교합니다. 우리는 실험을 통해, 이상적인
arXiv:2610.34914v1 발표 유형: 신규 초록: 고성능 일반 행렬 곱셈(GEMM) 구현은 최고 성능을 달성하기 위해 GEMM을 신중히 선택된 타일로 분해하는 데 의존합니다. 우리는 특정 하드웨어와 입력 행렬의 형태에 맞는 최적의 타일 크기를 자동으로 식별하는 새로운 분석 모델인 Waypoint를 제시합니다. Waypoint는 메모리 계층 구조, 명령어 수준 병렬성 및 멀티스레딩과의 상호작용을 포함한 모든 아키텍처적 효과를 포착함으로써 주어진 타일 선택 시 달성 가능한 성능을 추정합니다. 이러한 추정치를 대리 변수로 활용하여 가능한 타일 크기의 공간을 탐색하고, 성능을 극대화하는 타일 크기를 식별합니다. 또한 Waypoint는 하드웨어 설계자가 실험적인 하드웨어 최적화에 대한 현실적인 성능을 추정하는 데에도 도움을 줍니다.
arXiv:2610.32104v1 발표 유형: 신규 초록: 변환기 아키텍처의 능력과 한계를 규명하기 위해 여러 가지 형식적 이론들이 개발되어 왔으며, 각 이론은 아키텍처의 서로 다른 특징을 포착하는 다양한 추상화 방식을 사용한다. 이러한 이론들은 기본 가정과 개념적 틀의 차이로 인해, 변환기가 어떤 과제를 쉽게 또는 어렵게 여길지에 대한 예측에서 서로 상충될 수 있다. 우리는 변환기 능력에 관한 일곱 가지 이론(Star-free, $\mathsf{AC}^0$, $\mathsf{TC}^0$, C-RASP, MPC, BAPO, 그리고 Sensitivity)을 정리하고, 이를 다양한 계산 구조를 포괄하는 여러 과제 세트에 걸쳐 공통적인 예측 매트릭스로 변환하였다. 또한 이 매트릭스를 완성하기 위한 새로운 이론적 결과를 제시한다. 이후 우리는 이론적…
