Axolotl Releases· NanoCode012·· 2026-07-17AI 评分34
Axolotl v0.18.0 发布:面向超大规模稀疏 MoE 的低成本微调
v0.18.0
AI 导读
Axolotl v0.18.0 发布,自 v0.17.0 以来累计超 90 次提交,主打低成本微调超大规模稀疏 MoE 模型。新增 NVFP4 MoE-LoRA,在 ScatterMoE 与 SonicMoE 后端支持 4-bit 专家 LoRA/QLoRA,4k 至 32k 上下文下显存占用近乎持平,并支持 GLM-5.2(DSA)2D 专家并行微调。
来源:Axolotl Releases · github.com