跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

llama.cpp · b12061

mtmd:Pocket tts - 支持无语音克隆的音色 (#31429) * 功能:支持无语音克隆的 PocketTTS 音色 kyutai/pocket-tts-without-voice-cloning 权重在语音提示后,会将预定义的音色作为骨干 KV 状态输出。转换器会将每个状态还原为提示嵌入,并将其存储在 mmproj(voice.)中,同时移除已清零的语音编码器,并在 /tts 和 --tts-voice 的“voice”字段中选择其中之一。如果模型没有语音编码器,则拒绝使用说话人参考。辅助工具:Claude Fable 5.1 * 转换:PocketTTS 音色从不导致转换失败,并记录状态漂移 Kyutai 提供的语音状态并不总是与包权重为提示提供的状态一致:意大利语、德语和西班牙语在 bf16 四舍五入范围内匹配,英

事件进展与其他报道

llama.cpp · b12048

sycl:Intel Arc Pro B70s 上的快速 ggml_sycl_comm_exchange() (#30956) * 更新 ggml-sycl.cpp 将 -sm 张量提示评估的每秒吞吐量提升 +19%,而 PPL 保持不变。 * 更新 ggml-sycl.cpp 将首对 wait() 调用替换为 ext_oneapi_submit_barrier()。发现 wait() 调用会导致 MTP 性能下降。 * 更新 ggml-sycl.cpp 添加 comm_exchange 函数指针,以便在初始化时(而非热路径)根据 SYCL_ENABLE_DEFAULT_CONTEXTS=1 设置在 2 缓冲区和 4 缓冲区的 ggml_sycl_comm_exchange 版本之间进行切换。 * 更新 ggml-sycl.cpp 恢复 4 缓冲区方案的后半部分。 * 更新 ggml-sycl.cpp 删除多余空格。 * 更新 ggml-sycl.cpp 在 Windows 上验证完成之前暂不包含 Windows 支持。 **网站:** - **证明文件:** - **macOS/iOS:** - [macOS Apple Silicon (arm64)](h

事件进展与其他报道

b11980

[SYCL] 为量化KV缓存添加DPAS闪存注意力内核(#31125)* sycl:为量化KV缓存添加DPAS闪存注意力内核 解码与小批量(1至31个查询标记)现在直接在q4_0和q8_0的KV块上运行闪存注意力,而不再采用标量反量化或每次调用都将整个缓存转换为f16。Q.K在XMX上使用s8 x s4和s8 x s8的DPAS,V.P仍保持f16。dpas.s4.s8由于joint_matrix中没有s4,因此以vISA形式内联实现。覆盖头部大小64至512、GQA最多32以及注意力汇聚。提示词仍沿用现有内核。GGML_SYCL_FA_DPAS=0可将其关闭。B580、Llama 3.1 8B Q4_K_M、q4_0 KV、tg128:在16K上下文下,吞吐量为31.3至54.2 t/s。FLASH_ATTN_EXT 4582/4584,与主分支相同,出现两次失败。协助者:Claude * sycl:已删除192个头部,并将Wildcat Lake添加到文档中 协助者:Claude * sycl:str

事件进展与其他报道