不是模型越大越对齐:JEPA 用“好视图”改写柏拉图表征假说

一个只看图片的模型,和一个只读文字的模型,从没一起训练过,却可能在心里画出相似的“概念地图”。想把它们接起来,通常做法是多模态配对训练,或者把模型越堆越大。

这篇论文给了一个很不一样的答案:决定两张地图能否重合的,可能不是模型规模,而是训练时把哪些样本当作“同一个东西”。

说实话,我看到“109M 文本模型在表征对齐上超过 72B 语言模型”时,第一反应是去找评测口径。它说的不是推理、问答或生成能力全面反超,而是一个更聚焦的问题:文本嵌入的邻居结构,能不能和独立训练的视觉嵌入对上。把这个边界先说清楚,后面的结果反而更值得细读。

核心摘要:柏拉图表征假说认为,不同模态的大模型会随规模扩大而收敛到共享的世界表征,却一直缺少可操作的保证。Randall Balestriero 和 Yann LeCun 把问题改成“正样本对是否连接同一世界状态”,在理想化条件下证明:采用好视图的 JEPA 即使分模态独立训练,也只差一个旋转。实验中,好视图用 21.6M 样本达到 next-token 预测在 900M 样本上的对齐水平,样本量少 42 倍;109M 文本 JEPA 在 WIT-1024 上取得 0.184,高于所测 Qwen2.5-72B 的 0.154。真正吸引人的不是“小模型超过大模型”,而是训练信号从“同一条数据的两种损坏”转向“同一场景的两种观察”。不过,好视图本身需要场景分组,网络文本又借助了图像字幕器,这些代价不能藏在漂亮的倍数后面。

📖 论文信息

项目 内容
英文标题 Proving and Improving the Platonic Representation Hypothesis with JEPAs
作者 Randall Balestriero、Yann LeCun
作者单位 Brown University、New York University、AMI Labs
arXiv 2610.39302,v1,2026 年 10 月 29 日提交
学科 cs.AI、cs.CV、stat.ML
论文链接 https://arxiv.org/abs/2610.39302
代码 https://github.com/galilai-group/prh-proof
在线演示 https://huggingface.co/spaces/galilai-group/prh_demo

🎯 柏拉图表征假说,缺的并不只是一个证明

2024 年,Huh 等人在 ICML 的立场论文中提出柏拉图表征假说:图像、文字等数据是同一个现实的不同投影,不同神经网络随着规模、数据和任务多样性增长,表征会越来越相似,趋近某个共享的现实统计模型。

这个直觉很有吸引力。视觉模型把“狗追球”和“狗接飞盘”放得近,文本模型也把相应句子放得近,那么两个空间的相对几何就可能相似,即便坐标轴完全不同。

你想想看,两张城市地图可以一张朝北、一张旋转 30 度,街道关系仍然是同一张地图。论文里的“只差一个旋转”也是这个意思:不是要求第 17 维对第 17 维,而是样本之间的距离、角度和邻域能够在正交变换后对应起来。

原假说更多来自经验观察。它告诉我们“规模大了似乎会更像”,却没有回答三个工程问题:什么训练目标会产生这种相似?为什么有的模型读了很多文本仍然对不齐?除了继续扩规模,还能动哪个旋钮?

这篇论文把旋钮对准了 positive pairs,也就是正样本对。

路线 跨模态关系如何进入训练 学到相似几何的主要机制
CLIP 式联合训练 图像与文本直接在对比损失中配对 显式跨模态监督
原始 PRH 的观察 不强制联合训练,比较不同模型的表征 规模、数据与任务带来的收敛趋势
这篇论文的好视图 JEPA 各模态分开训练,但各自正样本连接同一场景的不同观察 不同模态求解同一个世界状态图上的谱嵌入问题

这里有个很容易被标题遮住的点:好视图 JEPA 并不是“完全没有配对信息”。同一张图的多条人工字幕属于同一场景,这个分组本身就是配对知识。它省掉的是跨模态联合损失,不是凭空消灭所有配对先验。

图1:好视图让独立训练的 JEPA 对齐,并减少达到同等对齐所需样本

图 1:论文总览。左侧把同一个世界状态渲染为两张照片或两条字幕,独立训练的图像、文本 JEPA 在好视图下只差一个旋转;同一观察的遮罩损坏和前缀到续写则被归为好视图之外。右侧在 WIT-1024、DINOv2 的 PRH 协议下比较训练样本数:好视图在 21.6M 样本达到 0.109,next-token 在 900M 样本达到 0.111;900M 样本的好视图模型来到 0.184。虚线标出 Qwen2.5-72B 与 Llama-3-70B 所在水平。


🧠 核心定理:不同模态,其实在解同一道图嵌入题

把世界、观察和正样本分开

作者先设一个有限世界,状态为 \(z\in\mathcal Z\),出现概率为 \(p(z)\)。模态 \(m\) 通过单射 \(x=g_m(z)\) 观察世界:图片是一种渲染,文字是另一种渲染。训练目标可以写成:

\[ \mathcal L_m(f)=\mathbb E_{(z,z')\sim\pi_m}\,\ell\big(f(g_m(z)),f(g_m(z'))\big)+\Omega(f) \]

\(\pi_m\) 决定哪些世界状态被拉成正样本,\(\ell\) 负责让对应嵌入接近,\(\Omega\) 防止所有输出塌成一个点。两个项都对旋转保持不变。

关键观察很简洁:如果 \(g_m\) 是单射,它只换了坐标,没有改变世界状态之间的关系。只要各模态共享 \(\pi_m=\pi\),并且总体最优解除了旋转之外唯一,那么每个模态的最优编码器都满足 \(f_m^\star\circ g_m=Q_mh^\star\)。这里 \(h^\star\) 是同一个世界嵌入,\(Q_m\) 是各模态自己的旋转。

对于平方距离加白化约束的谱 JEPA,答案还能写得更具体:模型学到正样本图归一化邻接矩阵的前 \(k\) 个特征向量;第 \(k\) 与第 \(k+1\) 个特征值之间有谱隙时,解在旋转意义下唯一。不同模态于是不是在猜彼此,而是在各自坐标系里算同一张图的主特征方向。

这套证明的边界同样清楚:有限世界、单射渲染、相同边缘分布、总体最优、旋转外唯一性,以及谱情形下的谱隙。真实文本会有损地描述场景,真实训练也到不了精确总体最优。作者明确承认,没有实验严格满足全部假设。把它读成一个可检验的充分条件,比读成“所有 JEPA 必然对齐”准确得多。

正样本不一样,误差有界; nuisance 会占用维度

如果两个模态的正样本图不同,论文用归一化核的差异和谱隙给最优旋转后的误差上界。谱隙越大、正样本核越接近,表征越能对齐;谱方向挤在一起时,靠后的方向可以很不稳定。实验里 300 个随机有限世界都满足上界,实测误差最多为上界的 18%。

更直观的是 nuisance,可以译成“模态特有的干扰因素”。同一场景的两条字幕共享主体和关系,却各有措辞;同一张照片的两个裁剪共享机位、光照和画面边界。措辞对文本建模有用,机位对视觉世界模型也有用,但它们不一定能跨模态对应。

论文把编码器中由场景解释的比例记为 \(\rho\)。任何分配给 nuisance 的维度,都可能成为旋转也无法修复的对齐损失。在 Flickr 的 \(k=32\) 分析中,好视图、坏视图和 next-token 模型的场景解释比例分别为 0.804、0.655 和 0.608。这组数把“为什么对不齐”从玄学变成了可测量现象。

训练方式 正样本从哪里来 容易保留什么 论文中的归类
Caption views 同一图片的不同字幕 场景共享内容 好视图 JEPA
Masked spans 同一条字幕的不同截断、遮罩 该字幕的措辞与局部共现 坏视图 JEPA
图像 crops 同一张照片的不同裁剪 机位、光照、构图等视觉 nuisance 坏视图 JEPA
Next-token 同一文档的前缀与后续 token 文档措辞、风格和续写统计 具有坏视图形式的预测目标

“坏”在这里只针对跨模态对齐,不是说这些目标学不到好特征。DINOv2 自己就是裁剪正样本,论文也把它叫作 bad-view JEPA;它依然是很强的视觉编码器。这个命名有点冲,概念边界倒是很明白。

Next-token 为什么也被写成 JEPA

把上下文编码记为 \(h(c)\),token \(v\) 的输出向量记为 \(w_v\),线性 softmax 的 next-token 损失可以拆成:

\[ -\log\frac{e^{\langle h(c),w_y\rangle}}{\sum_v e^{\langle h(c),w_v\rangle}} =\underbrace{-\langle h(c),w_y\rangle}_{\text{预测项}} +\underbrace{\log\sum_v e^{\langle h(c),w_v\rangle}}_{\text{抗塌缩项}} \]

预测项拉近上下文和真实续写,log-partition 防止所有 logit 一起无限增大。从这个角度,next-token 的正样本是同一序列里的“前缀—续写”,目标编码器则是 token 表。

但这里要踩一下刹车。作者也强调,next-token 使用两个编码器,最优解一般只能在 \(\mathrm{GL}(k)\) 可逆线性变换意义下识别,并不满足前面单编码器谱 JEPA 的全部条件。因此,“next-token 是 bad-view JEPA”带来的是一个有理论依据、再由实验检验的解释,不是从定理直接推出的严格推论。坦白讲,这个分寸我很喜欢,论文没有把类比偷偷升级成证明。


🔧 实验怎样只改变“视图”,而不偷换模型和数据

Flickr30k 的基础实验用 29k 训练图片,每张五条字幕,约 145k 条文本。文本编码器从头训练,是 12 层、隐藏宽度 384 的 BERT-S,33M 参数;图像侧为 ViT-S/16。好视图、坏视图和 next-token 三组使用相同文本、相近训练配方,彼此都看不到对方模态。

好视图从同一图片的不同字幕生成 8 个视图;坏视图从同一条字幕生成 8 个截断遮罩视图;next-token 则把同一 BERT 改成因果注意力并接 tied softmax head。JEPA 使用 LeJEPA 的预测项和 SIGReg,默认 \(\lambda=0.02\)。基础实验跑 200 epochs,batch 256,AdamW 学习率 \(5\times10^{-4}\),weight decay 0.05,报告三个随机种子的均值。

截断不是小装饰。全局视图保留连续 50%–100% 文本,局部视图保留 15%–50%,再遮罩保留 token 的 15%。它让同一图片的两条字幕更集中于共同内容。把整条字幕直接当视图,R@1 从默认的 0.246 降到 0.185,约损失四分之一;遮罩比例、视图数、batch、宽度和训练时长对均值的改变至多 0.016。梯度裁剪主要管稳定性,不是涨分魔法。

评测分成两类。Mutual 10-NN 比较两个空间中 10 近邻集合的重叠,不拟合任何映射;WIT-1024 上随机水平约为 0.01。检索指标则在验证配对上拟合一个正交映射,再测图像到字幕的 R@1、R@5,检验“只差旋转”是否真能用于对应样本。


🧪 结果一:同样的数据,好视图从头就更能对齐

Flickr 的主结果很干净。

文本编码器 Mutual 10-NN R@1 R@5
好视图 JEPA 0.062 ± 0.003 0.044 ± 0.002 0.133 ± 0.004
坏视图 JEPA 0.047 ± 0.001 0.027 ± 0.002 0.095 ± 0.003
Next-token 0.042 ± 0.001 0.021 ± 0.002 0.077 ± 0.005
Next-token,同图字幕对 0.043 ± 0.001 0.023 ± 0.003 0.083 ± 0.008

好视图的 R@1 是 4.4%,随机水平为 0.1%,也就是 44 倍随机。绝对数不高,图像侧只在 29k 图片上从头训练,不能把这张表读成成熟检索系统的水平;真正重要的是相同骨干、相同文本下的相对差距。

还有个挺妙的对照:把同图两条字幕拼给 next-token,Mutual 10-NN 只从 0.042 到 0.043,R@1 只从 0.021 到 0.023。知道两条字幕属于同一张图,还不够;怎样使用这份关系,才是差异来源。

视频实验补上了另一侧。MSR-VTT 中,图像好视图来自同一视频的不同帧,文本好视图来自不同字幕。图像和文本都用好视图时 Mutual 10-NN 为 0.067;只用文本好视图为 0.059,只用图像好视图为 0.043,两者都不用为 0.039。与此同时,冻结的 DINOv2 反而更喜欢同样使用 crops 的图像 JEPA,0.144 对 0.132。正样本是否一致,比“好视图”这个名字本身更能解释方向。


📊 结果二:42 倍样本效率,109M 超过所测 72B 模型

小规模实验之后,作者把文本换成 Recap-DataComp:每张网络图片带 alt-text 和两条由 LLaVA 生成的 recaption,同一图片的三条文本充当观察。数据从 2.16M 张图片对应的文本,扩到 940M 张图片对应的文本。

图9:好视图随网络文本规模增长,并在多种视觉编码器上领先

图 9:左图是 WIT-1024 上与 DINOv2 的 Mutual 10-NN,灰色区域覆盖所测 0.5B–72B 语言模型;中图是经过一个旋转后的 Flickr 图像到字幕 R@1;右图换成多个独立视觉编码器后,好视图、next-token、坏视图的排序仍保持一致。圆点与菱形区分 33M BERT-S 和 109M BERT-B,940M 处的三个单点对应相同文本规模下的三种目标。

最抓眼的是 42 倍。同一个 109M BERT-B、同一语料来源下,好视图看 21.6M 样本得到 WIT 0.109,next-token 看 900M 样本得到 0.111。换算成文本 token 是少 14 倍,因为一个好视图样本会读三条文本;换算成独立图片来源则少 435 倍。

这个倍数有吸引力,也有两个脚注。两组大规模 run 的 batch 和学习率并不完全相同,作者没有做严格等算力比较;21.6M 对 900M 又是跨数据规模、跨训练配置的匹配点。因此,42 倍是样本效率结果,不是训练成本全面降低 42 倍。

更大的主表如下。三种作者的模型都是 109M BERT-B,使用 940M 图片对应文本、900M 训练样本。WIT 使用 DINOv2 ViT-B 的 Mutual 10-NN,另列线性 CKA、CLIP ViT-H/14、5,000 对 COCO 以及 Flickr R@1。

文本编码器 WIT DINOv2 10-NN WIT CKA WIT CLIP-H 10-NN COCO DINOv2 10-NN Flickr R@1
好视图 JEPA 109M 0.184 0.507 0.230 0.161 0.478
Next-token 109M 0.111 — 0.146 — 0.335
坏视图 JEPA 109M 0.088 — 0.116 — 0.318
Qwen2.5-72B 0.154 0.418 0.210 0.108 —
Llama-3-70B 0.151 0.380 0.206 0.113 —
CLIP B/32 text 0.124 0.339 0.159 0.132 0.489
all-mpnet-base-v2 0.118 0.390 0.159 0.156 0.481

109M 好视图模型读过 116B 文本 token,Qwen2.5-72B、Llama-3-70B 的训练量为 15–18T token。参数量差约 660 倍,token 量差超过 100 倍,而 WIT DINOv2 分数是 0.184 对 0.154、0.151。

不过,CLIP 文本编码器在 Flickr R@1 上仍以 0.489 略高于 0.478;它和 all-mpnet 都用过大量配对数据。好视图模型最突出的地方是与独立视觉模型的几何一致性,不是所有检索指标都拿到第一。这个区分很有必要。

随机种子也不是无关紧要。一个有效 SIGReg 权重翻倍的第四个种子只得到 WIT 0.121;四个种子平均为 0.168,仍高于表中的语言模型,但低于三种子均值 0.184。WIT-1024 本身也小,50M 模型与部分中型语言模型的差距落在采样噪声内,而不同视图之间的差距更稳定。数据重叠同样被查过:至少 43 条 WIT 字幕与 Recap alt-text 完全或前缀重合,移除对应配对后,九种文本模型的分数变化都不超过 0.002;但 WIT 图片无法标识,不能据此排除图像级重叠。看到 0.184 时应该同时看到这些脚注,而不是只抄最大的数。

对齐也有 scaling law,但外推会坏

作者把每个训练项以概率 \(q\) 取好视图,否则取坏视图,拟合“坏视图基线随 \(\log M\) 增长,再加上好视图项”的经验定律。模型是 BERT-S,语料对应 10.2M 网络图片,拟合网格最多到 80M 样本。

图11:好视图比例与样本量共同决定对齐 scaling law

图 11:横轴是训练所见样本数的对数刻度,纵轴是 Flickr R@1。颜色表示好视图比例 \(q\),黑色为 \(q=0\);圆点是拟合网格,菱形是训练前预测的 run。各条曲线随样本量对数近似线性上升,好视图比例越高,斜率越大;拟合范围外的虚线也提示外推并不可靠。

定律拟合 45 个网格单元,RMSE 为 0.007;随后预测 85 个未见 run,RMSE 为 0.0093,而同一 run 换随机种子的差异为 0.0096。预测误差和重跑噪声差不多,这个结果挺漂亮。

但 320M 样本、重复数据 31 遍时,\(q=1\) 的实测 R@1 为 0.418,预测却是 0.455;\(q=0.1\) 为 0.348,预测 0.389。没有好视图的 run 仍吻合。模型没有重复数据衰减项,指数也识别得不充分。它是单一配方的经验摘要,不是定理推导出来的普遍规律。


🧩 结果三:一个旋转,把独立编码器变成字幕系统

这部分最能体现“表征对齐是件可用的工具”。

图像编码器冻结 DINOv2 或 DINOv3;文本解码器只根据好视图文本 JEPA 的嵌入重建字幕,训练时不看图片。推理时,图片嵌入经过带正交行约束的线性映射,再交给解码器生成文字。只有这个映射在图像—字幕配对上拟合,没有神经网络通过图像—字幕对做联合训练。

组件 看到的数据 是否用图像—字幕对训练
图像编码器 图片 否
文本 JEPA 与解码器 文本 否
正交行约束映射 配对嵌入 是,唯一使用配对的拟合部件

解码器训练还要加高斯噪声,让它容忍旋转后的残差。作者没有随意调噪声,而是用验证配对上的平均余弦 \(c\approx0.29\) 推出 \(\sigma=(c^{-2}-1)^{1/2}\approx3\),直接取 \(\sigma=3\)。这种从对齐误差推训练参数的做法,比再网格搜索十组噪声更有理论味道。

最强配置使用 100M 网络图片对应文本训练的文本 JEPA、Qwen2.5-1.5B 文本解码器、冻结 DINOv2 ViT-g 与 DINOv3 ViT-L,并对 32 个采样字幕做共识解码,在 COCO 上得到 CIDEr 0.838。注意论文把 CIDEr 统一放在 0–1 刻度,许多旧工作会乘以 100。

图10:独立编码器经一个映射组合后生成 COCO 字幕

图 10:四组 COCO 示例,每组上方黑色文字是生成字幕,下方灰色文字是人工参考。模型能描述鞋架上的猫、桌旁切蛋糕的女性、吃巧克力甜甜圈的小女孩和冲浪者;措辞与细节粒度并不完全相同,例如猫的例子更强调猫本身,人工参考更强调金属鞋架。图中系统使用冻结视觉编码器、文本侧解码器和在 30k Flickr 配对上拟合的一个映射。

正交约束还有迁移价值。同样拟合 30k Flickr 配对,无约束线性映射在 Flickr 上略好,却在 COCO 上损失约五分之一;两层 MLP 两边都更差。只允许旋转,反而不容易把 Flickr 的配对噪声学进去。

但“没有训练一个网络在图像—字幕配对上”不等于“整个系统没用配对数据”。30k 配对用于映射,Recap 文本来自看图的 captioner,解码器也可使用 Flickr 和 COCO 文本。宣传时少了这句,结论就会变形。

连旋转也可以不用配对来估计

论文接着采用 Schnaus 等人的 Wasserstein Procrustes 方法,在 COCO train2014 的互不相交图片池和字幕池上,从几何结构估计正交映射,再到 40,504 个验证配对上评测。FOSCTTM 越低越好,0 为完美,0.5 为随机。

文本编码器 FOSCTTM ↓ CIFAR-10 Top-1 CIFAR-100 Top-5 ImageNet-100 Top-5
好视图 JEPA 109M 0.018 86.0% 67.2% 64.4%
坏视图 JEPA 109M 0.026 78.1% 55.3% 46.7%
Next-token 109M 0.287 25.5% 19.9% 20.3%
Qwen3-8B,同条件重跑 0.018 83.4% 61.7% 47.6%
Schnaus 等已报最佳,任意设置 0.010 82.0% 62.0% 56.0%
CLIP B/32 text 0.006 84.0% 67.0% 68.7%

好视图 JEPA 在 ImageNet-100 Top-5 上比同条件 Qwen3-8B 高 16.8 个点,CIFAR-100 高 5.5 个点;CLIP 文本编码器则在 FOSCTTM 和 ImageNet-100 上更好。坏视图 JEPA 也拿到 0.026,所以这组 COCO 结果更支持“JEPA 比 next-token 更容易无配对对齐”,并不能把全部功劳都归给好视图。


🔬 我对这篇论文的判断:最值钱的是视图观,不是 109M 对 72B

我觉得这篇论文最扎实的地方,是把一个偏哲学的假说拆成了可以干预的训练变量。模型规模不再只是“大”或“更大”,正样本图变成了可以设计、可以测 nuisance、可以做消融的对象。视图改变以后,同数据、同骨干的对齐差距反复出现,这比单个 0.184 更有说服力。

它也不是凭空出现的一条线。原始 PRH 提供跨模态收敛现象,谱对比学习和 Laplacian eigenmaps 提供数学语言,I-JEPA 把预测放到表征空间,LeJEPA 用 SIGReg 约束各向同性高斯,Orthogonal Procrustes 与 Wasserstein Procrustes 则负责把已有空间接起来。论文的贡献在于把这些部件组成一条因果链:正样本决定世界核,世界核决定谱几何,谱几何决定跨模态能否用一个旋转连接。

问题也同样实在。

好视图从哪里获得,是最大工程门槛。 Flickr 和 COCO 靠人工为同一图片写多条字幕,天然有场景分组;普通网页语料通常没有。Recap-DataComp 的两条 recaption 由 LLaVA 生成,而其视觉侧包含 CLIP ViT-L/14,已经吸收了图像—文本训练的信息。只做 alt-text 加纯文本改写时,WIT 为 0.060;使用 recaption 后为 0.107。同文本下比较视图仍然公平,但与 CLIP、LLM 做绝对分数比较时,这条数据链路必须一起摆出来。

理论与实验之间还有距离。 大规模文本侧用 LeJEPA,图像侧多数仍是 crops,也就是论文定义的坏视图;旋转外唯一性只在二阶白化等谱情形下证明,不覆盖 LeJEPA 完整分布约束。真实观察有损,有限样本优化还依赖网络归纳偏置。作者自己把这些写进 limitations,读者不该替他们删掉。

比较范围是表征对齐,不是通用模型能力。 实验没有证明 109M JEPA 能在语言理解、数学、推理或生成上替代 72B LLM,也没有证明 next-token 是低效的语言学习路线。它证明的是:若目标就是让文本几何贴近独立视觉模型,直接预测下一个 token 会浪费很多容量在文档局部统计上。把结论限定在这个目标里,依然足够有分量。

调参公平性可以更强。 论文说明超参数主要调好视图 JEPA,大模型比较也采用特定的层级特征与 PRH 协议。相同文本下的 next-token、坏视图对照已经很有帮助,但等算力、同等调参预算、更多文本目标与更强多模态基线,会让 42 倍和 0.184 更牢靠。说实话,这部分我也不能替作者给出更强结论,现有实验能支持到哪儿就说到哪儿。


💡 放回工程里,应该怎么用

如果你在做跨模态检索、科学数据对齐或多传感器表征,我会优先检查数据里有没有“同一场景的多次独立观察”,而不是先加一轮随机遮罩。多张医学报告对应同一检查、多段语音描述同一事件、多视角视频对应同一过程,都可能比同一样本的数据增强更接近好视图。

概念上的训练循环可以非常短:

for scene in batch:
    observations = sample_observations_of_same_scene(scene)
    views = [trim_and_mask(x) for x in observations]
    embeddings = encoder(views)
    loss = invariance_loss(embeddings) + 0.02 * sigreg(embeddings)

这段伪代码省略了具体 projector 和分布式细节,真正想强调的是采样器。数据采样器在定义模型要保留的世界信息,loss 只是把这个意图落实到几何上。

如果只有单条文本,没有同场景多描述,也不必硬套。可以先做纯文本改写,但要检查改写是否保留场景、是否引入相同模板;也可以混合好视图与坏视图,用 \(q\) 控制比例。论文的 scaling law 暗示增加好视图比例比单纯重复坏视图更值得,不过长训练、重复数据和不同模态都要重新验证。

落地时还应把两种评测分开:无需拟合的 Mutual 10-NN 用来观察几何是否自然靠近,Procrustes 后的检索用来检验能否组合。若后者好、前者差,可能主要学到了映射;若两者都差,继续堆一个更大的编码器未必对症。梯度裁剪、截断比例、nuisance 测量和多种子结果,也都比单看一条 loss 曲线更有用。

回到那个“109M 胜过 72B”的标题,我的结论会克制很多:这不是规模失效的证明,而是一次很清楚的提醒——规模会放大训练信号,却不会替你把训练信号选对。 对跨模态表征而言,让模型看见同一场景的不同叙述,可能比让它反复看同一句子的不同残缺版本重要得多。


📚 公开资料

  • Balestriero, R., & LeCun, Y. Proving and Improving the Platonic Representation Hypothesis with JEPAs. arXiv:2610.39302. https://arxiv.org/abs/2610.39302
  • Huh, M., Cheung, B., Wang, T., & Isola, P. Position: The Platonic Representation Hypothesis. ICML 2024. https://proceedings.mlr.press/v235/huh24a.html
  • Assran, M., et al. Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture. CVPR 2023. https://openaccess.thecvf.com/content/CVPR2023/html/Assran_Self-Supervised_Learning_From_Images_With_a_Joint-Embedding_Predictive_Architecture_CVPR_2023_paper.html
  • Balestriero, R., & LeCun, Y. LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics. arXiv:2511.08544. https://arxiv.org/abs/2511.08544
  • Schnaus, D., et al. Shared Geometry as a Rosetta Stone: Cross-Modal Alignment Without Paired Data. arXiv:2610.09411. https://arxiv.org/abs/2610.09411

觉得有启发的话,欢迎点赞、在看、转发。跟进最新AI前沿,关注我