llama.cpp · b12059
llama : flash_attn_ext_rows - 다중 시퀀스를 위한 보다 효율적인 통합 kv (#29510) * llama : llm_attn_mask와 kv_rows를 사용하여 통합 주의력 지원자: dsh:llama.cpp/ggml-org/DeepSeek-V4-Flash-Vision-Exp-GGUF (Mac Studio, M2 Ultra, 192GB) 공동 작성자: Georgi Gerganov * cont : `get_seq_cells` 최적화 * llama : 시퀀스별 셀 비트맵으로부터 kv_rows 목록을 구축 각 시퀀스에 대한 셀 비트맵(`seq`의 전치)을 유지하고, seq_pos_inc/dec에서 업데이트하며, 설정된 비트를 순회하여 셀 목록을 생성합니다. 이 목록은 셀 순서를 유지하며, 여러 시퀀스에서 공유되는 셀은 모든 목록에 포함되며, 셀이 제거될 때 재구성할 필요가 없습니다. 또한 SWA가 슬라이스의 모든 토큰에서 숨기는 셀(표준 및 청크형 SWA)도 목록에서 제외합니다. * cont : get_kv_rows_ 생성