研究者提出推理时动态排序Transformer层的LoL架构

研究者提出 Library of Layers（LoL）架构，在推理时动态调整 Transformer 块的执行顺序，以适配不同任务。 据论文作者称，LoL 只有一个超参数，即全局 Transformer 块库的大小；该设置可在参数复用与稀疏化之间切换，并统一稠密、深度循环和 MoE 架构在参数效率与 FLOPs 效率上的权衡。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。