InfiLoop：循环残差连接提升推理迭代

研究者提出一种名为 InfiLoop 的循环原生残差连接方法，用于循环 Transformer。据论文称，该方法通过内容加权与学习式时间衰减维护循环状态的持续摘要，并以精确流式递归保持聚合内存恒定，使模型在测试时迭代次数增长时不再出现性能退化，可将迭代扩展至数万次。 论文作者公开了代码，地址为 https://github.com/pixeli99/InfiLoop。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。