跳到正文
Hugging Face Daily Papers·· 1 天前AI 评分38

PAR:让循环语言模型在状态追踪中实现长度外推

PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking

AI 导读

研究团队提出 PAR,通过让第 k 轮循环预测前 k 步后的状态、并在每轮后把隐状态缩放到首轮尺度,解决循环语言模型在状态追踪任务上的长度外推问题。在 swap-S5 上,用最长 32 步序列训练的 0.5B 模型在 512 步时全状态准确率达 95.5%,而此前最好的 RLT 为 55.7%,CoT 仅 0.8%。

来源:Hugging Face Daily Papers · huggingface.co