SparseDecoding:面向解码的 LLM 剪枝框架
SparseDecoding 提出一种面向解码阶段的剪枝框架,用稠密模型自回归生成(不含 prefill)时收集的逐层激活构建校准矩阵,使剪枝目标与解码激活对齐,并配套实现带 bitmask 索引与固定步长遍历的 N:M 稀疏矩阵向量内核。
SparseDecoding 提出一种面向解码阶段的剪枝框架,用稠密模型自回归生成(不含 prefill)时收集的逐层激活构建校准矩阵,使剪枝目标与解码激活对齐,并配套实现带 bitmask 索引与固定步长遍历的 N:M 稀疏矩阵向量内核。
研究者提出 CAFÉ,一种仅依赖已部署模型预测结果的机器遗忘黑盒测试方法,通过干预特征并将变化传播至下游特征,检测预测是否仍受目标特征影响。在两个因果网络基准、四种遗忘方法上,CAFÉ 以 0.92–0.93 的成对准确率对残余影响排序,现有检查最高仅 0.71。在真实人口普查数据上,CAFÉ 还发现了能通过重训练却未被直接输入检查察觉的残余影响。
Google 发布 autofinetune 项目,把自主研究循环用于 LLM 后训练,基于 Tunix、Gemma 和 Cloud TPU,由 Antigravity CLI 与 Gemini Flash 3.7 编排。
推荐理由:原文给出自主后训练循环的完整配置与两个真实案例,可据此迁移到自己的微调流程。