DeepSpeed v0.19.1 发布

DeepSpeed 发布 v0.19.1，新增 bf16 优化器状态 CPU offload 支持，并优化单例 MoE 通信、ZeRO-3 通过 mori 实现 SDMA allgather。该版本修复了 FastFileWriter 文件描述符泄漏、ZeRO-3 前向崩溃及 gemma4 注意力头等问题，同时支持 flash-attn 2.7.0 与 PyTorch v2.11 兼容。