量子位· 鹭羽·· 15 小时前精选AI 评分71
记忆张量开源MemT 1.0系列,把记忆原生焊进Transformer
RSI三块关键拼图,MemT 1.0从模型层补上「记忆」
AI 导读
记忆张量开源发布MemT 1.0系列记忆原生模型,包含36B参数、激活3B的MemT-1.0-Nano(基座Qwen3.6-35B-A3B)和288B参数、激活17B的MemT-1.0-Flash(基座DeepSeek-V4-Flash),在选定Transformer模块中加入与注意力并行的记忆分支。
推荐理由
原文给出记忆原生模型在SWE-bench与记忆基准上的对比数据,以及相对完整上下文方案的速度与状态占用差异。
来源:量子位 · qbitai.com