博客文章 - 爱游戏体育网页版

66岁的Yann LeCun再次携新论文重返AI研究前沿。

此次，他挑战的是大模型领域根深蒂固的理念：要让AI更深入理解世界，必须持续增加参数并扩大训练数据。

10月29日，LeCun与布朗大学计算机科学助理教授Randall Balestriero联合发布了一篇37页的新论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》。论文指出，在特定条件下，不同模态的AI模型即使各自独立训练，也能习得可以彼此对齐的世界表征。

更令人关注的是其中一组数据。研究团队训练了一个仅含1.09亿参数的文本JEPA，在跨模态表征对齐测试中，其表现超越了包括Qwen2.5-72B、Llama-3-70B在内的大型语言模型。

参数规模差距约为660倍。

在另一个实验中，采用新方法的模型仅需2160万个训练样本，就达到了下一Token预测模型使用9亿个样本才能实现的表征对齐水平。样本数量相差约42倍。

这些成果很容易让人产生疑问：过去几年，AI行业投入巨额资金训练越来越大的模型，难道方向错了？

但论文的真实意图并非如此。

LeCun新论文挑战“唯规模论”：1.09亿参数为何能挑战720亿？

在这篇论文中，作者LeCun和Balestriero试图回答一个比模型大小更基础的问题：当AI通过文字、图像等不同方式观察世界时，到底是什么决定了它们能否形成相似的内部理解？

对于长期倡导世界模型路线的LeCun来说，这同样是一次重要的理论探索。

这项研究的起点，源于两年前麻省理工学院研究团队提出的一个颇具哲学意味的假说。

2024年，Minyoung Huh、Brian Cheung、Tongzhou Wang和Phillip Isola在ICML上发表了《The Platonic Representation Hypothesis》，中文可译为《柏拉图表征假说》。

研究者观察到一种有趣现象：随着不同模型能力增强，图像模型和语言模型内部的表征结构似乎变得越来越相似。

例如，人们可以用一张照片描述猫趴在沙发上的场景，也可以用一句文字表达同样的意思。图片由像素构成，文字由Token构成，两者看似截然不同，但指向的现实对象却相同。如果AI真正学到了这些内容背后的某种共享结构，那么不同模型内部对事物之间关系的表示，就有可能逐渐趋同。

这正是“柏拉图表征假说”的核心：不同AI模型可能正在趋向一种共同的现实世界统计表征。

2024年的研究观察到，模型规模增大往往伴随着跨模态表征趋同，但并未证明这种现象一定发生，也没有解释什么训练方法能更高效地实现它。

LeCun和Balestriero试图向前推进。他们在论文中建立了一个数学框架，将不同模态视为对同一个潜在世界状态的观察，并研究模型在什么条件下可以学习到相互对齐的表示。

答案与训练过程中构造的正样本对有关。

研究者将一种数据关系称为Good Views，可理解为对同一个场景的有效观察。

例如，同一个场景的两张照片，或者两段分别描述同一场景的文字，虽然具体内容不完全相同，却共同指向现实世界中的某个状态。与之相对，论文使用Bad Views描述另一类训练样本构造方式：例如，同一段文本中的前缀和后续内容，或对同一输入进行遮挡得到的不同片段。

两者的区别在于，前者更有利于模型提取不同观察背后共享的信息；后者可能让模型花费更多表征容量去处理单一模态中特有的细节。

论文提出，当不同JEPA模型通过符合特定条件的正样本关系进行训练时，即使它们处理的是不同模态，也能够学到只相差一个旋转变换的表征空间。

所谓“旋转”，并非改变图像方向，而是对模型内部的高维向量进行数学变换，使不同模型的表示能够对应起来。这是一项有明确前提条件的数学结论，而非证明所有现有AI模型已经拥有完全相同的世界理解。

研究团队随后通过实验检验这一理论。论文将采用不同训练策略的文本模型与视觉模型进行比较，重点观察它们内部的表征结构有多接近。结果显示，采用Good Views训练的文本JEPA，在跨模态表征对齐方面表现突出。

论文所报告的特定跨模态表征对齐指标，分数越高表示模型表征结构越接近，并非语言模型综合能力分数。

其中，1.09亿参数的文本JEPA得分达到0.184，高于Qwen2.5-72B的0.154。这意味着，在这一测试中，一个参数量只有大型语言模型约六百分之一的小模型，反而学到了与视觉模型更接近的表征结构。

但需要注意，这里的“超过”有严格边界。它不意味着JEPA的数学推理、代码生成或知识问答能力超过了Qwen2.5-72B。论文比较的是跨模态表征对齐，而不是开发者熟悉的通用大模型能力。

另一个重要实验则涉及训练效率。

研究者发现，在同一语料和比较设置下，Good Views训练方案用约2160万个样本，就能达到下一Token预测使用9亿个样本时的表征对齐水平。

如果按照样本数量计算，效率提升约42倍；但如果按实际读取的文本Token数量计算，差距约为14倍。

这说明，训练时让模型学习什么样的信息关系，可能比单纯让它处理更多文本更重要。更有意思的是，研究团队还尝试将这种表征对齐能力转化为实际应用。

他们通过一个线性变换，将分别训练的视觉编码器和文本模型连接起来，构建图像描述系统。在COCO数据集上，该系统取得了0.838的CIDEr分数。在另一项无需成对图文数据来拟合对齐变换的实验中，模型在ImageNet-100的Top-5分类指标上获得64%，超过论文所比较的部分语言模型方案。这让研究结果不再停留在数学证明上，也展示了跨模态表征对齐可能带来的实际应用空间。

66岁离开Meta创业，LeCun为何还在坚持JEPA？

这篇论文背后，其实是LeCun本人研究经历的延续。

LeCun于1960年7月8日出生在法国，今年已经66岁。曾担任Meta首席AI科学家，也是卷积神经网络研究的先驱之一，与Geoffrey Hinton、Yoshua Bengio共同获得2018年ACM图灵奖。

在今天的大模型行业，LeCun是一个有些特别的人物。他既是深度学习浪潮的重要奠基者之一，也是对当前主流大语言模型路线长期持保留意见的研究者。

早在上世纪80年代，LeCun就开始探索神经网络在计算机视觉中的应用。他推动卷积神经网络发展，使机器能够更有效地识别手写字符和图像内容。后来，这些研究成为现代计算机视觉与深度学习的重要基础。

2013年，LeCun加入Facebook，参与创立FAIR（Facebook AI Research）。此后，他在Meta工作了约12年，先后担任FAIR创始负责人和首席AI科学家。但随着ChatGPT引发大语言模型热潮，LeCun与行业主流技术路线之间的分歧也越来越明显。

他并不否认LLM的实用价值，却反复强调：仅依靠预测下一个Token，并不足以构建能够理解物理世界、记住环境状态、推理和规划复杂行动的智能系统。在他的设想中，未来的AI不应只是通过海量文本学习语言与知识，还应该像人类和动物一样，通过观察环境来学习世界的抽象结构。

这也是他多年来推动JEPA（Joint-Embedding Predictive Architecture，联合嵌入预测架构）的原因。与要求模型重建输入细节的训练方式不同，JEPA更关注学习抽象表征，并在表征空间中进行预测。

2025年11月，LeCun公开宣布准备离开Meta，成立新的AI研究公司，继续推进Advanced Machine Intelligence（AMI）研究计划。他当时明确表示，新公司的目标是推动下一轮AI突破：构建能够理解物理世界、拥有持续记忆、具备推理与复杂行动规划能力的系统。

2026年3月，AMI Labs完成约10亿美元融资。与大量围绕现有LLM展开产品开发的创业公司不同，AMI Labs将世界模型作为核心研究方向。

这一背景让此次论文多了一层意义。

在拿到图灵奖、经历大型科技公司十多年的研究生涯之后，他没有选择退居幕后，而是离开熟悉的研究平台，参与创办新公司，继续推动一条尚未被证明能够取代主流LLM的技术路线。

这其中有一种值得关注的科研坚持：在一个越来越重视模型规模、资本投入和产品发布速度的行业里，LeCun仍试图从学习机制本身寻找下一次突破。

这篇论文虽然因Yann LeCun的名字获得关注，但另一位作者Randall Balestriero同样值得介绍。

Balestriero是布朗大学计算机科学助理教授，研究方向包括自监督学习、深度神经网络理论及表征学习。他的研究经历横跨信号处理、深度网络理论和自监督学习。

2021年在Rice University获得博士学位，之后曾在Meta FAIR与LeCun合作开展博士后研究。

2023年，Balestriero进入Citadel，从事金融时间序列预测和表征学习相关工作。随后，他又回到学术界，在布朗大学开展研究。

业内评价：有人惊叹，也有人质疑

论文发布后，最具传播力的说法，无疑是“1.09亿参数打败720亿参数”。

在Hugging Face上，论文进入了当日热门论文榜单。共同作者Balestriero也亲自出现在评论区，介绍了研究成果。

他特别强调，研究团队利用Good Views训练的1.09亿参数文本JEPA，在跨模态表征对齐指标上取得了0.184的得分，超过Qwen2.5-72B的0.154和Llama-3-70B的0.151。

Yann LeCun在x上回复该论文相关的评论时称，今天的大语言模型之所以能够回答大量问题，很大程度上是因为它们在训练过程中积累了海量的陈述性知识。他写道：

“大语言模型积累了大量陈述性知识。这就是为什么它们能够回答如此多的问题，也是为什么它们需要如此多的参数，进而占用大量内存。”

LeCun的观点也引发了网友讨论。有人对这条技术路线持观望态度。网友Sage Williams评论道：“如果你的观点是对的，那么你的模型最终应该会胜出。我们拭目以待。”

也有人关注到这种训练方式可能带来的实际价值。Peter Ebasone认为，这对小型实验室和个人研究者来说是个好消息，并表示该技术在基因组学领域可能具有应用潜力。

另一位网友Gordon Lawton则提出了一个更具体的技术问题：如果模型能够通过文本中的词语共现、图像中的物体共现来学习世界的结构，那么视频中同时出现的画面与声音是否也适用？毕竟，人类正是通过视觉和听觉的共同作用来感知世界的。

这些评论也反映出外界对JEPA路线的不同期待：一方面，人们希望看到这种理论优势最终转化为实际模型能力；另一方面，更高的数据效率，以及跨视觉、听觉等多模态信息学习的可能性，也让部分开发者看到了新的研究方向。

参考链接： https://arxiv.org/abs/2610.39302 https://huggingface.co/papers/2610.39302 本文来自微信公众号“AI前线”（ID：ai-front），作者：冬梅，36氪经授权发布。