llama.cpp 发布 b11554 优化 Vulkan 后端
热点事件持续更新
llama.cpp 发布 b11554 优化 Vulkan 后端
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
llama.cpp 发布 b11554 版本,改动集中在 Vulkan 后端对 mul_mat_id 重复数据的处理方式:由原先在循环中处理改为在 prepass 阶段完成,同时将 "hoist row ids" 优化设为默认常开。 据发布说明,新实现会生成紧凑的 tile 描述列表,遇到重复 id 时按需输出多个 tile,从而收紧 workgroup 数量上界,使尾部线程可以提前退出。
AI 根据报道生成 · 2 小时前更新
最新进展10月11日 20:31
llama.cpp b11554 发布:Vulkan 后端优化 mul_mat_id 重复处理报道时间线
沿着报道,了解事件的不同侧面。
10月11日
- llama.cpp Releasesllama.cpp b11554 发布:Vulkan 后端优化 mul_mat_id 重复处理
llama.cpp 发布 b11554,Vulkan 后端将 mul_mat_id 的重复处理从循环改为在 prepass 阶段完成,并让 "hoist row ids" 优化默认常开。新实现会生成紧凑的 tile 描述列表,必要时为重复 id 输出多个 tile,从而收紧 workgroup 数量上界,让尾部线程可提前退出。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。