SparseDecoding 剪枝框架论文发布

论文作者发布面向大语言模型解码阶段的剪枝框架 SparseDecoding。该框架用稠密模型自回归生成（不含 prefill）时收集的逐层激活构建校准矩阵，使剪枝目标与解码激活对齐，并配套实现带 bitmask 索引与固定步长遍历的 N:M 稀疏矩阵向量内核。 作者称其目标是实现准确且高效的 LLM 解码，报道未给出与其他方法的对比结果或实测效果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。