Hugging Face Daily Papers·· 1 天前AI 评分31
LatentLoop：用非对称计算分配扩展循环 MoE 模型
LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation
AI 导读
LatentLoop 提出一种非对称计算分配方案，用于循环 MoE 模型：压缩第一次循环访问的序列、第二次保留全分辨率，并把省下的算力转给隐藏层维度。
来源：Hugging Face Daily Papers · huggingface.co