Hugging Face Daily Papers·· 4 天前精选AI 评分51
FlashMask-3：高效表达性掩码感知分布式注意力
FlashMask-3: Efficient and Expressive Mask-Aware Distributed Attention
AI 导读
FlashMask-3 提出面向 Hopper 的掩码感知注意力内核，在 FlashAttention-3 的 TMA/WGMMA 流水线上实现三角色 warp 特化，并加入零通信掩码定位、稀疏感知负载均衡器 HCC-IPO 与掩码驱动的通信剪枝。
推荐理由
论文给出 FlashMask-3 在 Hopper 上的稀疏掩码内核与分布式扩展，读者可了解长上下文训练中掩码通信开销的消除思路。
来源：Hugging Face Daily Papers · huggingface.co