본문으로 건너뛰기
AI NEWS JOURNAL
llama.cpp 릴리스AI NEWS / JOURNAL

b11980

[SYCL] 정량화된 KV 캐시를 위한 DPAS 플래시 어텐션 커널 추가 (#31125) * sycl : 정량화된 KV 캐시를 위한 DPAS 플래시 어텐션 커널 추가 디코딩 및 소규모 배치(쿼리 토큰 1~31개)는 이제 매 호출마다 전체 캐시를 f16으로 변환하거나 스칼라 디퀀터화하는 대신, q4_0 및 q8_0 KV 블록에서 직접 플래시 어텐션을 수행합니다. Q.K는 XMX에서 s8 x s4와 s8 x s8 DPAS를 사용하며, V.P는 f16으로 유지됩니다. dpas.s4.s8은 joint_matrix에 s4가 없기 때문에 인라인 vISA로 처리됩니다. 헤드 크기 64부터 512까지, GQA 최대 32 및 어텐션 싱크를 지원합니다. 프롬프트는 기존 커널에서 그대로 작동합니다. GGML_SYCL_FA_DPAS=0으로 설정하면 이 기능이 비활성화됩니다. B580, Llama 3.1 8B Q4_K_M, q4_0 KV, tg128: 16K 컨텍스트에서 31.3~54.2 t/s의 성능을 보입니다. FLASH_ATTN_EXT 4582/4584, 마스터와 동일한 2건의 실패 사례가 있습니다. 협조자: Claude * sycl : 헤드 수가 192개로 감소했으며, 문서에 Wildcat Lake가 추가되었습니다. 협조자: Claude * sycl : str

번역 대기 중입니다. 완료되면 자동 업데이트됩니다.

관련 주제

← 전체 소식 이어 읽기