Axolotl Releases· NanoCode012·· 2 小时前精选AI 评分62
Axolotl v0.21.0 发布:单节点 QLoRA 微调 501B MoE,新增扩散语言模型训练
v0.21.0
AI 导读
Axolotl 发布 v0.21.0,包含自 v0.20.0 以来的 59 个提交。该版本支持在单台 8xH200 节点上用 QLoRA 微调 Reflection 的 Beam,这是一个 501B 参数、23B 激活参数的 MoE,并提供 FSDP2 与 device_map 配置以及 B200 的专家并行 LoRA 配方。
推荐理由
Axolotl v0.21.0 把 501B MoE 的 QLoRA 微调压到单节点,并新增扩散语言模型训练支持,可据此判断现有微调流程的改动量。
来源:Axolotl Releases · github.com