跳到正文
Axolotl Releases· NanoCode012·· 2026-07-17AI 评分34

Axolotl v0.18.0 发布:面向超大规模稀疏 MoE 的低成本微调

v0.18.0

AI 导读

Axolotl v0.18.0 发布,自 v0.17.0 以来累计超 90 次提交,主打低成本微调超大规模稀疏 MoE 模型。新增 NVFP4 MoE-LoRA,在 ScatterMoE 与 SonicMoE 后端支持 4-bit 专家 LoRA/QLoRA,4k 至 32k 上下文下显存占用近乎持平,并支持 GLM-5.2(DSA)2D 专家并行微调。

来源:Axolotl Releases · github.com