跳到正文
Axolotl Releases· github-actions[bot]·· 2026-01-31AI 评分34

Axolotl v0.14.0 发布:迁移至 Transformers v5,加速 MoE 训练

v0.14.0

AI 导读

Axolotl 发布 v0.14.0,将底层 transformers 依赖从 v4 升级到 v5,并新增 MoE 内核选择(batched_mm、grouped_mm)及 scattermoe 自定义集成,显著提升 MoE 模型训练速度并降低显存占用。

来源:Axolotl Releases · github.com