跳到正文
llama.cpp Releases· ggerganov·· 11 小时前AI 评分22

llama.cpp b11766:Metal 后端优化 argmax 与 pool_1d

b11766: metal : optimize argmax and pool_1d (#30862)

AI 导读

llama.cpp 发布 b11766,在 Metal 后端为大规模行 argmax 引入两趟部分归约,并为 pool_1d 改用协作式线程组归约,argmax 部分结果通过 Metal buffer 分配器申请暂存空间。该版本同时新增 pool_1d 性能测试用例,覆盖 MoE 下投影 amax 形状的 POOL_1D max 场景。

来源:llama.cpp Releases · github.com