研究:祈使语气导致 LLM 指令拓扑跨语言反转,陈述式改写降低 81% 差异
针对四种语言、四个模型的指令级消融实验显示,同一语义的系统提示词在英语中协同、在西班牙语中竞争,这种拓扑反转由社会语域(祈使语气的强制力差异)介导。将单个指令块改写为陈述式可减少 81% 的跨语言差异(p = 0.029,置换检验);改写 11 个祈使块中的 3 个即可使西班牙语指令拓扑从竞争转为协同,并溢出影响未改写块。
针对四种语言、四个模型的指令级消融实验显示,同一语义的系统提示词在英语中协同、在西班牙语中竞争,这种拓扑反转由社会语域(祈使语气的强制力差异)介导。将单个指令块改写为陈述式可减少 81% 的跨语言差异(p = 0.029,置换检验);改写 11 个祈使块中的 3 个即可使西班牙语指令拓扑从竞争转为协同,并溢出影响未改写块。
Google 分享了在 TPU 上将视频扩散模型稀疏注意力理论转化为端到端加速的案例。81 帧 720p 视频的序列长度达 50K 至 400K,从 720p 升至 1440p 时序列长度翻两番,全注意力在单层延迟中占比可从 55.5% 升至 88.2%。
Import AI 第 474 期聚焦三项内容:Michael Levin 提出心智是来自柏拉图式模式空间的模式,身体与机器只是其进入物理世界的接口。智谱启动了一个"外层 RSI 循环",探索递归自我改进。此外还讨论了将 TPU 部署到太空,以及机器人领域正为 LLM 时刻做准备但缺少通用算法。
Google 开发者博客介绍深度学习在天体粒子物理中的应用:Pierre Auger 天文台用 1500 多个探测器站覆盖 3000 km² 捕捉宇宙线空气簇射,IceCube 以约 1 km³ 南极冰探测中微子,这些观测站的空间分布式传感器以纳秒级读出记录波形,数据结构类似图像,适合用深度学习分析。文章指出这些方法有望提升仪器灵敏度、发现隐藏模式并搜索信号异常。
伯克利 AI 研究团队梳理了并行推理领域进展,指出当前多数方法(如 Self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild!