LazyFlash: 긴 컨텍스트 미세조정을 가속화하기 위한 전방 밀집형·후방 희소형 주의력

arXiv:2610.31911v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM)이 점점 더 긴 시퀀스를 처리함에 따라, 주목 메커니즘은 주요한 계산 병목으로 부각되고 있다. 희소 주목 기법은 대부분 추론 단계에 초점을 맞추지만, 여전히 많은 방법들이 밀집형으로 학습되거나 희소 학습을 지원하지 못하며, 추가적인 복잡성으로 인해 희소성이 실제 실시간 성능 향상으로 이어지기 어려워져, 실제로는 밀집형 주목이 널리 사용되고 있다. 본 논문에서는 주목 학습이 후방 전달 단계에 의해 지배된다는 관찰에 기반하여 설계된, 전방은 밀집형, 후방은 희소형 주목 방식인 LazyFlash를 제안한다. LazyFlash는 전방 전달 단계를 완전히 밀집형으로 유지하므로, 학습된 모델은 vLLM과 같은 기존 시스템에서 아무런 변경 없이 서비스할 수 있는 표준 밀집형 모델로 남게 된다. 후방 전달 단계에서는 LazyFlash는 그라디언트-a