跳到正文
DeepSpeed Releases· nathon-lee·· 5 天前AI 评分12

DeepSpeed 为连续批处理 rollout 加入 decode front 对齐路径(#8497)

nightly-last-green: feat(rollout): align decode fronts and trim dead zones (#8497)

AI 导读

DeepSpeed 合并 PR #8497,为连续批处理 rollout 新增可选的 decode front 对齐路径:开启 align_decode_fronts 后按 attention mask 推导有效 prompt 长度、从长到短排序并右对齐 prefill,同时裁剪无效 cache 列,默认仍保持等宽填充布局。

来源:DeepSpeed Releases · github.com