ELR:让循环语言模型在单次循环下不损失精度的训练方案
论文提出 Elastic Latent Recurrence(ELR),一种训练循环语言模型的方法,使模型在单次循环时与同规模非循环模型服务成本相同、精度相近,每增加一次循环则用更多推理算力换取更高精度。
推荐理由:论文提出消除循环模型单次循环精度损失的训练方案,并给出4B与30B-A3B模型上的多任务对比数据。
内容形态
值得读的论文与研究成果:Agent 方法、编码能力、训练与推理技术的精选解读。
357 条精选近 30 天 352 条共收录 1,629 条
论文提出 Elastic Latent Recurrence(ELR),一种训练循环语言模型的方法,使模型在单次循环时与同规模非循环模型服务成本相同、精度相近,每增加一次循环则用更多推理算力换取更高精度。
推荐理由:论文提出消除循环模型单次循环精度损失的训练方案,并给出4B与30B-A3B模型上的多任务对比数据。
研究者提出 SWEeper-Bench,包含 200 个任务,均取自 200 个广泛使用的开源 Web 应用中的真实 bug 修复。每个任务只给智能体代码库和开放式请求,例如“找出并修复 Focalboard 看板分享与成员管理中的问题”,由于这些 bug 难以仅从代码中发现,智能体必须自行设计交互式测试来触发它们,再由智能体验证器按用户在浏览器中观察到的结果评判修复。
推荐理由:该基准把交互式软件中依赖多步操作才能触发的 bug 交给智能体自主发现,并给出 15 个前沿智能体的通过率与瓶颈分析。
论文提出 Universal Textual Teaching(UTT),一种无需更新参数的框架,将 Teacher-Student 知识差距蒸馏为可解释、可复用的自然语言产物 Primer。
推荐理由:论文提出无需更新参数的文本化知识蒸馏框架,读者可了解其多角色迭代生成 Primer 的方法与跨模型泛化表现。
论文提出 SoftwareGym,一个自动合成 GUI 软件环境的流水线,可生成结构多样的界面、可执行功能并经运行时验证,共合成十二个类别、182 个应用,平均 GUI 任务通过率 91.5%。
推荐理由:论文给出合成软件环境的具体规模与跨域迁移数据,可了解 CUA 训练数据的一种可扩展路径。
论文提出 DCOCO(DFlash Contextual Corrector),一种轻量机制,用于在投机解码中恢复扩散式草稿块内被并行起草丢失的依赖关系。它不直接采用每个位置的最高预测,而是保留多个候选 token 并并行评估相邻草稿位置的上下文兼容性,以较低额外开销完成上下文感知的 token 选择。
推荐理由:针对扩散式草稿并行起草丢失块内依赖的问题,给出可并行恢复上下文的轻量方案与多负载加速数据。
论文提出 DiffusionART(Diffusion Reinforcement with Aggregation-First Reward Tilting),将每个提示词的奖励聚合为反向过程状态共享的奖励改进方向,从构造上消除 NFT 类目标中的前向-反向一致性力,并加入信任域掩码的二次更新实现漂移自适应恢复,无需 EMA 调参。
推荐理由:论文提出聚合优先奖励倾斜方法,在视频生成上以更少 GPU 小时达到对比方法的奖励水平。
论文提出 Opera,一个把每次纠错当作持续笔记并跟踪至问题解决的言语批评框架,通过周期性及事件触发决定何时审查、用类型化算子诊断问题、在交付前依据可见证据审核反馈,并跟踪智能体后续动作以区分表面服从与真正解决。
推荐理由:论文提出把每次纠错当作持续跟踪的笔记,并给出在多个编码基准上的提升数据,可了解长程编码智能体的纠错机制设计。
论文提出 LGWM,一个无解码器、以动作为条件的世界模型,直接预测下一屏的表示来验证 GUI 转移,在 1.85M 条真实 GUI 转移上训练。在 RSWT-BENCH 上,免训练打分达到 0.987 AUC、每次判断 17 ms,与最强闭源 VLM 相当,比生成式 GUI 世界模型高约 10 个 AUC 点且延迟低三个数量级以上。
推荐理由:论文把 GUI 智能体的安全判断从单屏检测转到动作到屏幕的转移验证,并给出低延迟的表示空间方案。
论文提出 WOVEN,一个面向视觉状态转移推理的训练数据源与基准,按场景、动作和推理类型组织监督信号,包含 20 种场景、5 种动作、8 种推理类型共 36,076 个样本。
推荐理由:论文给出视觉状态转移推理的训练数据与基准,并验证其可跨任务迁移,为多模态世界模型训练提供可复用配方。
FlowState 提出把执行状态当作可保留、可回访的记忆,用增量状态更新(ISU)和渐进状态访问(PSA)在单个执行循环内兼顾当前决策与历史信息复用。
推荐理由:论文给出长程智能体的执行状态记忆方案,并用成功率与 token 消耗两组数字说明取舍。
英伟达团队基于 Nemotron 3,用监督微调、强化学习和反馈驱动的推理流程,在 IOI 2026 和 IMO 2026 两项竞赛中均达到金牌水平。
推荐理由:原文公开了从 Nemotron 3 微调到 IOI、IMO 金牌级成绩的完整配方与数据集,可据此复现领域专家模型的训练与推理流程。
OpenAI 以公开 GitHub 仓库形式发布内部前沿模型的数学成果,包含 722 篇手稿、分为 372 个相关结果族,来自约 4000 道研究问题的评测,平均每个结果消耗约 3 小时 ChatGPT Pro 思考算力,模型本身未发布。
推荐理由:OpenAI 内部模型一次性产出 722 篇数学手稿,读者可据此了解其规模、算力成本与学界争议。
微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,它让智能体在隔离的 MCP 工具会话中运行,只根据最终后端状态和副作用打分,而不是看模型生成的文字。
推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定成败,并给出 20 次重复下的可靠性数据。
Google 发布新一代联邦学习系统,用可信执行环境(TEE)为数据匿名化提供可验证、可审计的保证,Gboard 已采用该系统上线英语和日语下一词预测模型。新系统把客户端梯度计算移到服务端,训练时间瓶颈从设备可用性转为 TEE 资源,此前每个模型训练需 1-2 个月。
推荐理由:Google 公布基于 TEE 的新一代联邦学习系统设计,并给出 Gboard 已上线的实际部署效果。
Google Research 发布 AI video co-director,一个构建在 Gemini 和 Veo 之上的多智能体编排框架,用于生成连贯的多镜头长视频。
推荐理由:Google 把长视频生成拆成四个可复用的智能体框架,并给出多镜头一致性的评测基准与量化结果。
微软研究院对移动操作机器人工作负载做了首次系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU 可提升任务成功率、支持更大模型并延长续航。
推荐理由:微软研究院系统测量了机器人端侧 GPU 推理的瓶颈,并给出可复用的 Kubernetes 卸载工具链,读者可据此判断物理 AI 的部署取舍。
Berkeley AI Research 与 IBM Research 将 K-Search 进化式内核搜索框架扩展到 MLX,通过结构化 CUDA-to-MLX 翻译层把已有 CUDA 内核经验迁移到 Apple Silicon。
推荐理由:展示了把 CUDA 内核优化经验结构化迁移到 Apple Silicon 的方法,并给出注意力与 Mamba 两类内核的实测对比。