Hugging Face Daily Papers·· 3 天前精选AI 评分54
JSSA：面向长上下文解码的联合子空间稀疏注意力
Joint Subspace Sparse Attention for Efficient Long-Context Decoding
AI 导读
论文提出联合子空间稀疏注意力（JSSA），通过学习共享低维 query-key 子空间提升 token 级选择质量，并设计免 gather 的 token 级索引注意力 kernel，支持 GQA KV-cache 布局下每个 KV head 独立选择。
推荐理由
论文给出免训练的稀疏注意力方案，读者可了解长上下文解码吞吐与精度如何兼顾。
来源：Hugging Face Daily Papers · huggingface.co