DeepMem：用可逆子带变换与快速权重记忆实现字节级多尺度语言模型

DeepMem 是一种因果多尺度字节级架构，通过可逆子带变换构建短序列层级，并用无损载体与细节边带保留字节精确性。它在 FineWeb-Edu 和 PG19 上的语言建模表现优于同等字节级 Transformer，并在 FLORES 各语言上取得最佳宏平均成绩。瓶颈精炼所需 FLOPs 比等效全分辨率推理少约 7,600 倍，同时保持有竞争力的评测吞吐。