TTR-Compressor：用测试时回归压缩序列

研究者提出 TTR-Compressor，把输入 token 当作回归问题处理：用前向传播中闭式求解的拟合系数作为压缩表示，回归问题本身通过反向传播端到端学习。 据论文报告，在块稀疏注意力上，其 RULER 表现大幅超过基于注意力的压缩器；用于多模态大语言模型的视觉 token 合并时，持续优于标准 MLP merger，并在视觉 token 减少 55.6% 的情况下达到同等性能。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。