Hugging Face Daily Papers·· 23 小时前精选AI 评分52
FLAMIA：面向 Blackwell 的快速且因果安全的 Flash 微缩放注意力
FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell
AI 导读
FLAMIA 提出面向 NVIDIA Blackwell 的注意力核系列，包含 MXFP8 与 NVFP4/FP8 混合训练路径，通过 token-block 缩放复用量化操作数、防止共享缩放导致的因果信息泄漏，并保持前向与反向计算一致。
推荐理由
论文给出 Blackwell 上注意力核的量化与调度设计，并附 B200、B300 实测加速区间，便于比较低精度训练收益。
来源：Hugging Face Daily Papers · huggingface.co