본문으로 건너뛰기
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI 뉴스 검색

제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.

발행 시간순

b11979

sycl : 재정렬 레이아웃의 디퀀타이제이션 스토어(vectorize) (Q4_0, K-쿼트, IQ3, MXFP4) (#30976) * sycl : 재정렬된 Q4_0 디퀀타이제이션 스토어를 확장 The 재정렬 레이아웃 Q4_0 변환 커널은 작업 항목당 하나의 qs 바이트를 처리하며, 두 개의 스칼라 스토어를 통해 16개의 요소 간격으로 배치되었습니다. #30775에서 Q8_0 커널에 적용된 것과 동일한 방식을 적용합니다: 하나의 32요소 블록 내에서 작업 항목당 네 개의 qs 바이트(8개의 출력)를 처리하는 평면형 sycl::range<1> 런치와 두 개의 벡터 스토어를 사용합니다. 스칼라 커널과 동일한 부동소수점 연산 및 반올림 방식을 사용하며, 출력은 비트 수준에서 동일합니다. 기존 k % QK4_0 == 0 확인 조건은 전체 32요소 블록을 보장하므로, k/8 런치는 각 행을 정확히 모두 다룹니다. 이제 더 이상 참조되지 않는 스칼라 재정렬 커널은 제거됩니다. Arc Pro B70, 프리필이 준비된 상태(재정렬이 설치된 텐서에서 디코딩 후 프리필): +6.4% ~ +7.3%

진행 상황 및 관련 보도