混合模态检索器中的模态偏好:文本中的混沌
研究发现密集检索器性能对模态组成高度敏感:当图像文档被语义对应的文本逐步替换时,检索性能呈明显 V 型曲线,单模态语料表现强劲,模态共存时显著下降。无关文本比等量无关图像造成更严重的性能退化,研究者称之为"文本中的混沌",其根源是文本表示获得系统性更高的相似度分数。
研究发现密集检索器性能对模态组成高度敏感:当图像文档被语义对应的文本逐步替换时,检索性能呈明显 V 型曲线,单模态语料表现强劲,模态共存时显著下降。无关文本比等量无关图像造成更严重的性能退化,研究者称之为"文本中的混沌",其根源是文本表示获得系统性更高的相似度分数。
研究者提出 Spatial Canvas Interface,让用户通过语义、身份、文本、像素四类绑定在空间中直接编排海报生成意图,并据此开发了海报生成模型 Compo。Compo 由预训练图像编辑模型适配而来,支持用户手动构建画布的直接推理和自动规划画布的 agentic 模式,无需从零训练专用海报生成器。实验显示其构图可控性强于通用图像生成模型和专用海报生成系统,同时保持高视觉质量。
VibeEdit 提出一种图像编辑新界面,用户直接在图像上放置空间标记并附简短注释,形成"画布指令"来指定编辑位置和内容,无需单独输入文本提示词,即可完成对象添加、删除、替换、属性修改和移动。
研究者推出 RISEBench++,一个面向推理驱动视觉编辑(RISE)的基准,涵盖 Temporal、Causal、Spatial、Logical、Counterfactual 与 Hybrid 六类推理维度,细分为 12 个子类和 65 种任务类型,含 1000 条中英双语人工标注测试用例。
LEGO 提出一种无需 lifting 的第三人称到第一人称视频生成方法,用 LVSM 风格的 Transformer 直接渲染第一人称视角,省去深度估计、点云和重投影步骤。该合成器输出逐区域置信度,用于遮蔽低置信区域并在去噪早期引导生成器布局,性能持续优于现有显式流程,且无需重训练即可泛化到其他数据集。
SpatialOPSD 是一个 on-policy 自蒸馏框架,将空间编码智能体已验证的执行轨迹作为特权信息,把空间推理能力内化进独立 MLLM,使其无需外部工具即可运行。
针对视觉语言模型空间推理弱、RGB 输入缺乏几何证据的问题,研究者提出 GPD(Geometry-Privileged Distillation),将深度、语义和鸟瞰图(BEV)线索渲染为紧凑文本并按问题路由给教师模型,仅对错误轨迹施加特权 KL 以增强 GRPO,部署模型仍只用 RGB。
JetBrains 发布 Mellum2.1,这是其 6 月开源的 12B MoE 模型的新版本,架构不变,仍为 2.5B 激活参数、Apache 2.0 许可。
推荐理由:JetBrains 开源编码智能体模型 Mellum2.1,读者可了解其 RL 后训练路线与自托管部署方式。
OmniCapBench 将音视频描述评估重构为深度结构化诊断框架,把预测目标从自由文本转为实体引用、视觉镜头和音频事件三类原子化可验证评估单元,并基于 786 段密集标注视频进行确定性约束检查与局部 LLM 语义比较。评测前沿 MLLM 显示其局部感知较强,但长时程音视频推理薄弱,尤其存在身份漂移与跨模态错位问题。
Liquid AI 发布 d1 决策模型家族的两款开源权重模型 d1-3B 和 d1-omni-600M(实验性)。
推荐理由:Liquid AI 开源两款决策模型,给出端侧延迟与七项基准对比,可判断小模型做结构化决策的可行性。
英伟达团队基于 Nemotron 3,用监督微调、强化学习和反馈驱动的推理流程,在 IOI 2026 和 IMO 2026 两项竞赛中均达到金牌水平。
推荐理由:原文公开了从 Nemotron 3 微调到 IOI、IMO 金牌级成绩的完整配方与数据集,可据此复现领域专家模型的训练与推理流程。
微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,它让智能体在隔离的 MCP 工具会话中运行,只根据最终后端状态和副作用打分,而不是看模型生成的文字。
推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定成败,并给出 20 次重复下的可靠性数据。
Ai2 开源 AstaBrief 8B,一个把研究问题和检索到的文献片段转成带引用报告的小模型,基于 Qwen3-8B 训练,现已作为 Asta 的 Fast 模式上线,并同步开放模型权重和训练数据。
推荐理由:原文给出了从 Qwen3-8B 出发的 SFT 加 DPO 训练配方与数据过滤经验,可迁移到其他垂直领域小模型。
ServiceNow CoreAI 构建了 AutoSynthData,利用目标模型的失败案例与更强教师的成功示范,自动生成并验证新的可执行训练任务,并随模型进步动态调整课程。该流程以 EnterpriseOps Gym 数据集为例演示,生成的任务需满足可行性、真实性与难度三项要求,验证器则需保证一致性、可靠性与完整性。
Hugging Face 发布 Open TTS Leaderboard,用客观指标评测开源多语言 TTS 与声音克隆模型,单模型评测耗时从数周投票缩短到数小时。
微软研究院发布 GigaPath-Flash 和 GigaTIME-Flash,以蒸馏自十亿参数 GigaPath 编码器的 22M 参数 ViT-S 骨干替代原模型,在 PANDA 前列腺分级和 EBRAINS 脑肿瘤分型基准上以约 50 倍更少算力达到原 GigaPath 3% 以内的性能。