跳到正文
llama.cpp Releases· github-actions[bot]·· 1 天前AI 评分28

llama.cpp b12094 发布:Hexagon 后端采样器 TOP_K 提速

b12094

AI 导读

llama.cpp 发布 b12094,为 Hexagon 后端采样器优化 TOP_K:跳过最大值达不到当前第 k 优值的 tile,再用 top_k_scan() 替代 tile 排序,适用于 k 在 2..64、行宽超过 1024 的单行与多行路径。相同值保留首次出现的索引,NaN 按 -INF 处理。该版本同时移除 hex-top-k 中来自 vtcm 的标量读取。

来源:llama.cpp Releases · github.com