llama.cpp Releases· ggerganov·· 11 小时前AI 评分22
llama.cpp b11766:Metal 后端优化 argmax 与 pool_1d
b11766: metal : optimize argmax and pool_1d (#30862)
AI 导读
llama.cpp 发布 b11766,在 Metal 后端为大规模行 argmax 引入两趟部分归约,并为 pool_1d 改用协作式线程组归约,argmax 部分结果通过 Metal buffer 分配器申请暂存空间。该版本同时新增 pool_1d 性能测试用例,覆盖 MoE 下投影 amax 形状的 POOL_1D max 场景。
来源:llama.cpp Releases · github.com