66 岁 Yann LeCun 发新论文挑战 Scaling Law：1.09 亿参数胜过 720 亿，模型越大不一定越懂世界

Meta 前首席 AI 科学家 Yann LeCun 与布朗大学计算机科学助理教授 Randall Balestriero 于 2026 年 10 月 29 日联合发布了题为《Proving and Improving the Platonic Representation Hypothesis with JEPAs》的论文。该研究挑战了大模型行业普遍遵循的 Scaling Law（缩放定律），提出通过 JEPA（联合嵌入预测架构）框架，小参数模型在特定任务上可超越超大模型。

技王数据恢复

核心发现：小模型在表征对齐上超越大模型

论文指出，在跨模态表征对齐测试中，一个仅有 1.09 亿参数的文本 JEPA 模型，其表现超过了参数量高达 720 亿的 Qwen2.5-72B 和 Llama-3-70B 等大型语言模型。具体数据显示，1.09 亿参数模型的得分为 0.184，而 Qwen2.5-72B 为 0.154，Llama-3-70B 为 0.151。需要注意的是，这一“超过”仅指跨模态表征对齐指标，而非通用的数学推理、代码生成或知识问答能力。 技王数据恢复

• 训练效率大幅提升：采用新方法的模型仅需 2160 万个训练样本，即可达到传统 Next Token 预测模型使用 9 亿个样本才能获得的表征对齐水平。按样本数量计算，效率提升约 42 倍；按实际读取的文本 Token 数量计算，差距约为 14 倍。
• 理论基础：研究基于“柏拉图表征假说”，认为不同模态的 AI 模型可能正在趋向一种共同的现实世界统计表征。通过构造“Good Views”（对同一场景的有效观察）进行训练，即使不同模态模型独立训练，也能学到可相互对齐的世界表征。

背景与应用前景

Yann LeCun 长期主张世界模型路线，认为仅依靠预测下一个 Token 不足以构建理解物理世界的智能系统。他于 2025 年 11 月宣布离开 Meta 成立 AMI Labs，并于 2026 年 3 月完成约 10 亿美元融资，继续推进 AMI 研究计划。此次论文由 LeCun 与布朗大学助理教授 Randall Balestriero 共同完成，后者曾在 Meta FAIR 与 LeCun 合作开展博士后研究。 技王数据恢复

在应用层面，研究团队通过线性变换连接分别训练的视觉编码器和文本模型，构建了图像描述系统。在 COCO 数据集上，该系统取得了 0.838 的 CIDEr 分数；在 ImageNet-100 的 Top-5 分类指标上获得 64%，展示了跨模态表征对齐的实际应用空间。 技王数据恢复

业内反应

论文发布后在 Hugging Face 进入当日热门榜单。LeCun 在 X 平台上回应称，大语言模型积累大量陈述性知识是其能回答众多问题的原因，也是其需要巨大参数量的原因。网友对此观点持观望态度，部分开发者认为该技术路线在基因组学等领域具有应用潜力，但也有关于视频多模态学习的疑问。 技王数据恢复

参考链接：arXiv:2610.39302 | Hugging Face Papers www.sosit.com.cn

技术审核：邓严军｜技王数据恢复实验室技术总监 技王数据恢复