Hugging Face Daily Papers·· 2 天前精选AI 评分52
REMORY：为上下文压缩学习残差记忆
REMORY: Learning Residual Memory for Context Compaction
AI 导读
论文提出 REMORY，一种神经记忆网络，在文本摘要之外补充一段有界的软记忆 token，让冻结的 LLM 逼近使用完整历史时的续写结果。在 SummHay 上，REMORY 在洞察覆盖率几乎不变的情况下提升了来源归因，仅用 5.2% 的输入位置就接近全上下文的联合得分。
推荐理由
论文提出用软记忆 token 补足文本摘要，在仅占 5.2% 输入位置的情况下逼近全上下文表现，为长程智能体的上下文压缩提供了一条可迁移思路。
来源：Hugging Face Daily Papers · huggingface.co