Hugging Face Daily Papers·· 5 天前精选AI 评分62
NoteBank：免训练稀疏情景记忆让线性注意力模型支持百万 token 长上下文
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
AI 导读
论文提出 NoteBank，为线性注意力模型增加稀疏情景记忆，在查询到来前存档选定文本，并用主干原生特征写入和寻址，通过原生前向计算重放读取证据，无需额外训练或外部嵌入模型、检索器。
推荐理由
论文提出免训练的稀疏情景记忆方案，用原生重放提升线性注意力模型的长上下文检索能力。
来源：Hugging Face Daily Papers · huggingface.co