跳到正文
llama.cpp Releases· Captain-Tripps·· 5 小时前AI 评分38

llama.cpp b11902 为 SYCL 后端新增 set_tensor_2d 加速张量分片加载

b11902: sycl: add set_tensor_2d for faster tensor-split loading (#30358)

AI 导读

llama.cpp 发布 b11902,为 SYCL 后端新增 set_tensor_2d,在目标行连续时把主机行打包成最大 64 MiB 的块,用单次设备拷贝完成上传,非连续目标仍走逐行拷贝。

来源:llama.cpp Releases · github.com