Hugging Face Daily Papers·· 3 天前精选AI 评分58
分层稀疏注意力 SSA：在极端稀疏度下缩小与稠密注意力的差距
Stratified Sparse Attention: Reducing the Sparse-to-Dense Gap at Extreme Sparsity
AI 导读
研究提出分层稀疏注意力（SSA），将确定性检索与分数引导采样结合，用代理注意力分数对残差采样并按包含概率校正，从而找回检索集之外的注意力质量，top-k、top-p 与 top-k+采样均为其特例。
推荐理由
论文给出极端稀疏度下缩小与稠密注意力差距的方法，并在多个基准和 1M 上下文解码速度上给出对比数据。
来源：Hugging Face Daily Papers · huggingface.co