Hugging Face Daily Papers·· 5 天前精选AI 评分52
DAMI：为门控线性注意力设计双轴记忆初始化以提升长上下文检索
DAMI: Dual-Axis Memory Initialization for Enhanced Long-Context Retrieval in Gated Linear Attention
AI 导读
研究团队提出 DAMI，一种针对线性注意力中衰减系数相关参数的初始化方法，将控制时间尺度的 A_log 按几何级数（4096 到 1 token）分布到各注意力头，并让控制输入敏感度的 dt_bias 沿模型深度呈 0.25 到 0.75 再到 0.25 的“低-高-低”分布，两者联合求解。
推荐理由
论文给出线性注意力衰减系数的初始化方案，并列出五种架构上的检索准确率对比，可供关注长上下文训练的人参考。
来源：Hugging Face Daily Papers · huggingface.co