Hugging Face Daily Papers·· 2 天前精选AI 评分58
TokenGate：用可学习 token 剪枝加速长上下文 prefill
TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning
AI 导读
论文提出 TokenGate，一个轻量可学习的 token 剪枝模块，通过 token-gated attention 在长上下文 prefill 中跳过不重要的 token。
推荐理由
论文给出可插拔的 token 剪枝模块，并量化了长上下文 prefill 的加速与显存收益，便于对照现有剪枝方案。
来源：Hugging Face Daily Papers · huggingface.co