跳到正文
Hugging Face Daily Papers·· 4 天前AI 评分31

MC-Sparse:弥合扩散 Transformer 中稠密与稀疏注意力的差距

MC-Sparse: Deconstructing and Closing the Dense-Sparse Attention Gap in Diffusion Transformers

AI 导读

针对扩散 Transformer 长序列生成中稀疏注意力导致质量下降的问题,研究者提出免训练框架 MC-Sparse,通过缓存查询分组、KV 索引与稠密-稀疏注意力残差并在去噪步骤间复用,实现更高保真度。在 Minimax-H3-Base 上取得 1.80 倍去噪加速,3D 资产生成上达 2.32 倍,质量损失可忽略。

来源:Hugging Face Daily Papers · huggingface.co