Hugging Face Daily Papers·· 2 天前精选AI 评分49
论文用 JEPA 证明并改进柏拉图表示假说
Proving and Improving the Platonic Representation Hypothesis with JEPAs
AI 导读
研究者提出柏拉图表示定理,证明在正样本对为同一场景的两次观测时,分别训练于任意数量模态的 JEPA 会学到仅相差一个旋转的相同表示。作者据此指出下一 token 预测相当于使用坏视角的 JEPA,并给出对齐的缩放律:在相同语料上达到同等对齐水平,好视角所需训练样本比下一 token 预测少 42 倍。
推荐理由
论文把柏拉图表示假说从猜想变成定理,并给出对齐的缩放律,为多模态训练数据设计提供可迁移依据。
来源:Hugging Face Daily Papers · huggingface.co