跳到正文
llama.cpp Releases· github-actions[bot]·· 2 小时前AI 评分22

llama.cpp b11981 发布:优化 Hexagon NPU 上转置 CONCAT 的 DDR 带宽利用率

b11981

AI 导读

llama.cpp 发布 b11981 版本,针对 Hexagon NPU 优化转置 CONCAT 的 DDR 带宽利用率。改动包括将转置 CONCAT 的行块大小翻倍、缓冲区 scratchpad 翻倍、对 src1 行分块、将 src1 的 VTCM stride 填充以分散 gather lane,并把类似的 vgather 优化应用到 SSM_CONV 和 GDN。

来源:llama.cpp Releases · github.com