跳到正文
Hugging Face Daily Papers·· 2 天前精选AI 评分62

MemT-1.0 提出记忆原生架构并开源 Nano 与 Flash 两个模型

MemT-1.0: Towards Memory-Native Evolution

AI 导读

MemT-1.0 提出把连续记忆嵌入基础模型计算的记忆原生架构,基于 Metis 采用 Gated DeltaNet-2 与 token 级记忆更新机制,并引入 Mixture-of-Storage 扩展原生记忆容量。

推荐理由

论文给出记忆内嵌架构的训练路径与效率数据,可对照检索增强方案理解长上下文成本取舍。

来源:Hugging Face Daily Papers · huggingface.co