跳到正文
Hugging Face Daily Papers·· 5 天前精选AI 评分58

BYOD:在 Colab 单卡上把 Gemma、Llama、Qwen、Ministral 转成扩散语言模型

BYOD: Build Your Own DLM - Efficient Autoregressive-to-Diffusion Language Model Conversion

AI 导读

BYOD 提出一种自回归到扩散语言模型的转换方法,把 Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B 和 Ministral 8B 改造成双向掩码扩散模型,预训练权重全部冻结,只训练占最终参数 4.1%–5.8% 的 LoRA 适配器,四次主要转换在 Google Colab 单卡上各耗时 3.1–4.0 小时。

推荐理由

论文给出把四个指令模型低成本转成扩散语言模型的配方与实测差距,读者可据此判断这条转换路线的可行边界。

来源:Hugging Face Daily Papers · huggingface.co