论文提出频繁上下文压缩可替代长上下文模型

一篇论文指出，在长程和长输入任务中频繁压缩上下文几乎不损失任务准确率，因此长上下文语言模型可能并非必要。作者还发现后段 token 的生成成本高于前段，在前沿开放权重模型上成本差距可达 7 倍；即使每个上下文只执行一个动作，LLM 在长程软件工程任务上的表现也没有崩溃，据此提出语义状态空间模型（SSSM）概念。