DeepSpeed Releases· nathon-lee·· 5 天前AI 评分12
DeepSpeed 为连续批处理 rollout 加入 decode front 对齐路径(#8497)
nightly-last-green: feat(rollout): align decode fronts and trim dead zones (#8497)
AI 导读
DeepSpeed 合并 PR #8497,为连续批处理 rollout 新增可选的 decode front 对齐路径:开启 align_decode_fronts 后按 attention mask 推导有效 prompt 长度、从长到短排序并右对齐 prefill,同时裁剪无效 cache 列,默认仍保持等宽填充布局。
来源:DeepSpeed Releases · github.com