본문으로 건너뛰기
AI NEWS JOURNAL
ONE EVENT. MANY PERSPECTIVES.

llama.cpp · b11922

tests : fix multi-seq split replay and partial-state cases for trained models (#31216) * tests : fix multi-seq split replay against trained models The rollback snapshot is captured by the graph that decoded the rolled-back tail, while the reference context decodes the same prefix with different batch shapes. The two states differ in the last bits and trained models amplify the difference with every replayed token. Compare only the first replayed token of each seq, then restore the rollback state into the reference context before the seq-1-only tail. Assisted-by: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) * tests : require bit-exact seq-1 isolation in split replay The seq state save is not always bit-lossless - SWA-masked cells are not saved - so reload the rest

1 개 독립 출처 · 1 건의 보도오래된순 ↕
발행 시간순

b11922

tests : 학습된 모델에 대한 다중 시퀀스 분할 재생 및 부분 상태 케이스 수정 (#31216) * tests : 학습된 모델을 대상으로 한 다중 시퀀스 분할 재생 문제 수정 롤백 스냅샷은 롤백된 테일을 디코딩한 그래프에 의해 캡처되며, 참조 컨텍스트는 서로 다른 배치 형태로 동일한 접두사를 디코딩합니다. 두 상태는 마지막 비트에서 차이를 보이며, 학습된 모델은 재생되는 각 토큰마다 그 차이를 증폭시킵니다. 각 시퀀스의 첫 번째 재생 토큰만 비교한 뒤, 시퀀스-1 전용 테일 이전의 참조 컨텍스트에 롤백 상태를 복원합니다. 지원: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) * tests : 분할 재생 시 비트 정확한 시퀀스-1 격리 요구 시퀀스 상태 저장은 항상 비트 손실 없이 이루어지지 않습니다—SWA로 마스크된 셀은 저장되지 않으므로, 나머지는 다시 로드합니다.

진행 상황 및 관련 보도