对应语言译文排队中,完成后自动更新。
AI NEWS JOURNAL
llama.cpp 发布AI NEWS / JOURNAL
b11985
metal:更快的 MXFP4 矩阵向量运算,为一元/二元/GLU 提供完整的线程组(#31075)* metal:通过完整线程组加速 MXFP4 矩阵向量内核 采用 fp16 位技巧解码 fp4 值,而非使用线程组查找表,并将打包的半字节数据以对齐的 32 位字加载。该内核不再使用线程组内存。* metal:以完整线程组启动连续的一元和二元运算 连续一元路径以及行广播二元路径曾每个线程组仅使用一个线程。现可为每个线程组最多使用 256 个线程,并对尾部进行边界检查。* metal:将 GLU 行拆分至多个线程组 之前,一条 GLU 行仅在单个线程组上运行,因此单行解码会为整个操作使用单一线程组。现可将每行拆分至最多包含 256 个线程的多个线程组中。**网站:** - **证明文件:** - **macOS/iOS:** - [macOS 苹果芯片