跳到正文
Axolotl Releases· NanoCode012·· 2 小时前精选AI 评分62

Axolotl v0.21.0 发布:单节点 QLoRA 微调 501B MoE,新增扩散语言模型训练

v0.21.0

AI 导读

Axolotl 发布 v0.21.0,包含自 v0.20.0 以来的 59 个提交。该版本支持在单台 8xH200 节点上用 QLoRA 微调 Reflection 的 Beam,这是一个 501B 参数、23B 激活参数的 MoE,并提供 FSDP2 与 device_map 配置以及 B200 的专家并行 LoRA 配方。

推荐理由

Axolotl v0.21.0 把 501B MoE 的 QLoRA 微调压到单节点,并新增扩散语言模型训练支持,可据此判断现有微调流程的改动量。

来源:Axolotl Releases · github.com