llama.cpp Releases· liangliangchang·· 12 小时前AI 评分18
llama.cpp b11618:RDNA3.5 上部分量化类型启用 64 行 MMQ tile
b11618: HIP: use 64-row MMQ tiles for some quant types on RDNA3.5 (#28195)
AI 导读
llama.cpp 发布 b11618,在 RDNA3.5(gfx115x)上为部分量化类型启用 64 行 / 128 线程 MMQ tile,J=96 因无收益被排除。在 gfx1151 上测试 100 个 MUL_MAT shape,中位数提升 2.1%、最佳提升 26.0%;5 个 MUL_MAT_ID shape 中位数提升 8.0%。
来源:llama.cpp Releases · github.com