Hugging Face Daily Papers·· 20 小时前AI 评分42
Library of Layers(LoL):在推理时动态排序 Transformer 层
Library of Layers (LoL): Adaptively Ordering Transformer Layers at Runtime
AI 导读
研究者提出 Library of Layers(LoL)架构,在推理时动态调整 Transformer 块的执行顺序,以适配不同任务。LoL 只有一个超参数,即全局 Transformer 块库的大小,可在参数复用与稀疏化之间切换,统一了稠密、深度循环和 MoE 架构的参数效率与 FLOPs 效率权衡。
来源:Hugging Face Daily Papers · huggingface.co