arXiv cs.SE· Victoria Clerico, William Simon, Corey Liam Lammie, Orhun G\"orkem, Athanasios Vasilopoulos, Hsinyu Tsai, Jeronimo Castrillon, Abu Sebastian, Hadjer Benmeziane·· 1 小时前AI 评分58
HELIX：按算子粒度灵活划分异构 LLM 推理
HELIX: HEterogeneous LLM Inference with FleXible and Fine-Grained Partitioning
AI 导读
论文提出 HELIX，一个基于 vLLM 的软件栈，可在算子粒度上自动发现、编译并调度面向异构加速器的工作负载感知划分。它在引擎初始化时结合实测执行开销、通信开销、设备能力与内存约束，用动态规划、分段编译和异构子图调度确定延迟最低的算子放置，使仅覆盖部分算子的加速器无需预设模型划分即可参与推理。
来源：arXiv cs.SE · arxiv.org