HELIX：按算子粒度划分异构推理

Victoria Clerico 等作者发布论文，提出 HELIX——一个基于 vLLM 的软件栈，可在算子粒度上自动发现、编译并调度面向异构加速器的工作负载感知划分。 据论文描述，HELIX 在引擎初始化时结合实测执行开销、通信开销、设备能力与内存约束，用动态规划、分段编译和异构子图调度确定延迟最低的算子放置，使仅覆盖部分算子的加速器无需预设模型划分即可参与推理。

AI 根据报道生成 · 19 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。