跳到正文
热点事件观察中

DeepMem 发布字节级多尺度语言模型论文

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

论文作者发布 DeepMem，一种因果多尺度字节级架构：它用可逆子带变换构建短序列层级，并以无损载体与细节边带保留字节精确性。作者称，该模型在 FineWeb-Edu 和 PG19 上的语言建模表现优于同等字节级 Transformer，在 FLORES 各语言上取得最佳宏平均成绩。 作者还称，瓶颈精炼所需 FLOPs 比等效全分辨率推理少约 7,600 倍，同时保持有竞争力的评测吞吐。上述效果均为论文中的说法，尚待独立验证。

AI 根据报道生成 · 12 小时前更新

最新进展11月3日 03:00
DeepMem：用可逆子带变换与快速权重记忆实现字节级多尺度语言模型

报道时间线

沿着报道，了解事件的不同侧面。

11月3日
  1. Hugging Face Daily Papers
    DeepMem：用可逆子带变换与快速权重记忆实现字节级多尺度语言模型

    DeepMem 是一种因果多尺度字节级架构，通过可逆子带变换构建短序列层级，并用无损载体与细节边带保留字节精确性。它在 FineWeb-Edu 和 PG19 上的语言建模表现优于同等字节级 Transformer，并在 FLORES 各语言上取得最佳宏平均成绩。瓶颈精炼所需 FLOPs 比等效全分辨率推理少约 7,600 倍，同时保持有竞争力的评测吞吐。

本事件热度走势

可比范围当前
3
可比范围峰值
311月4日 16:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。