论文称频繁上下文压缩可替代长上下文

1. 03:00
   Hugging Face Daily Papers精选

   论文提出频繁上下文压缩可替代长上下文模型

   一篇论文指出，在长程和长输入任务中频繁压缩上下文几乎不损失任务准确率，因此长上下文语言模型可能并非必要。作者还发现后段 token 的生成成本高于前段，在前沿开放权重模型上成本差距可达 7 倍；即使每个上下文只执行一个动作，LLM 在长程软件工程任务上的表现也没有崩溃，据此提出语义状态空间模型（SSSM）概念。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。