跳到正文
llama.cpp Releases· liangliangchang·· 12 小时前AI 评分18

llama.cpp b11618:RDNA3.5 上部分量化类型启用 64 行 MMQ tile

b11618: HIP: use 64-row MMQ tiles for some quant types on RDNA3.5 (#28195)

AI 导读

llama.cpp 发布 b11618,在 RDNA3.5(gfx115x)上为部分量化类型启用 64 行 / 128 线程 MMQ tile,J=96 因无收益被排除。在 gfx1151 上测试 100 个 MUL_MAT shape,中位数提升 2.1%、最佳提升 26.0%;5 个 MUL_MAT_ID shape 中位数提升 8.0%。

来源:llama.cpp Releases · github.com