跳到正文
Hugging Face Daily Papers·· 2 天前精选AI 评分49

论文用 JEPA 证明并改进柏拉图表示假说

Proving and Improving the Platonic Representation Hypothesis with JEPAs

AI 导读

研究者提出柏拉图表示定理,证明在正样本对为同一场景的两次观测时,分别训练于任意数量模态的 JEPA 会学到仅相差一个旋转的相同表示。作者据此指出下一 token 预测相当于使用坏视角的 JEPA,并给出对齐的缩放律:在相同语料上达到同等对齐水平,好视角所需训练样本比下一 token 预测少 42 倍。

推荐理由

论文把柏拉图表示假说从猜想变成定理,并给出对齐的缩放律,为多模态训练数据设计提供可迁移依据。

来源:Hugging Face Daily Papers · huggingface.co