跳到正文
Hugging Face Daily Papers·· 20 小时前AI 评分42

Library of Layers(LoL):在推理时动态排序 Transformer 层

Library of Layers (LoL): Adaptively Ordering Transformer Layers at Runtime

AI 导读

研究者提出 Library of Layers(LoL)架构,在推理时动态调整 Transformer 块的执行顺序,以适配不同任务。LoL 只有一个超参数,即全局 Transformer 块库的大小,可在参数复用与稀疏化之间切换,统一了稠密、深度循环和 MoE 架构的参数效率与 FLOPs 效率权衡。

来源:Hugging Face Daily Papers · huggingface.co