Hugging Face Daily Papers·· 2 天前精选AI 评分53
你的 Transformer 其实是弹性的：免重训弹性剪枝方法
Your Transformer Is Secretly Elastic
AI 导读
论文提出一种免重训方法，将预训练 Transformer 转成可按计算预算动态调整的弹性模型，通过对每个 MLP 神经元和注意力头在多个稀疏目标下联合排序与软剪枝实现。
推荐理由
论文给出免重训的弹性剪枝方法，读者可了解固定尺寸模型在异构硬件下的一种替代思路。
来源：Hugging Face Daily Papers · huggingface.co