LeCun团队揭秘JEPAs新发现：精准学习数据密度

在Meta审核的严格规范下，LeCun团队仍不断发表重量级论文！

面对可能的离职风波，LeCun携最新研究成果强势回归，继续与三位FAIR同事并肩作战。

Yann LeCun团队的新论文揭示了自监督模型JEPAs（联合嵌入预测架构）的一项隐藏技能——

它学会了识别数据的“密度”。

这里的“数据密度”可以理解为数据的常见程度：高密度的样本是典型且常见的，而低密度的则是罕见甚至异常的。

原本被视为仅擅长特征提取的JEPAs，这次被LeCun团队发现它在训练过程中掌握了感知数据常见程度的能力。

这意味着，一旦JEPAs训练成功，无需额外操作，就能用它来判断样本的普遍程度。

这一发现颠覆了学界长期以来的认知，即JEPAs仅关注特征学习，与数据密度无关。

核心发现：反坍缩机制助力精准学习数据密度

要深入理解这一突破性发现，首先得了解JEPAs。

源自《A Path Towards Autonomous Machine Intelligence》图12

作为LeCun团队近年来主推的自监督学习框架，JEPAs的核心优势在于无需人工标注，就能从海量数据中自主学习特征规律，完成后可直接应用于图像识别、跨模态匹配等任务，是AI高效学习的代表模型。

以往学界普遍认为，JEPAs的训练仅有两个核心目标：

• 一是latent空间预测，即对原始数据（如图像）进行轻微扰动后，模型能精准预测扰动数据的特征表示；
• 二是反坍缩，防止所有样本的特征趋同。

而论文的新发现正是源于对反坍缩的深入研究。

如果所有数据特征都一样，模型的学习就无效了。因此，过去大家仅将反坍缩视为防止特征失效的手段，未意识到其更深层次的作用。

LeCun团队聚焦于反坍缩的隐藏价值，通过变量替换公式与高维统计特性推导证明，反坍缩不仅能防止特征趋同，还能让JEPAs精准学习数据密度。

从理论上看，当JEPAs输出高斯嵌入时，模型必须通过雅可比矩阵感知数据密度，以满足训练时的约束条件。这意味着学习数据密度并非偶然，而是JEPAs训练过程中的必然结果。

为了让这一隐藏能力实用化，团队还推出了关键工具JEPA-SCORE。

这是从JEPAs中提取数据密度的量化指标，核心功能是评估样本的普遍程度。

计算公式简洁高效，只需获取JEPAs处理样本时的雅可比矩阵，计算其特征值后取对数求和，即可得到JEPA-SCORE。分数越高表示样本越典型，分数越低则样本越罕见或异常。

更值得一提的是，JEPA-SCORE具有极高的通用性，不限制数据集和JEPAs架构。

无论是ImageNet、MNIST还是未参与预训练的陌生数据，都能精准计算；无论是单模态还是多模态模型，只要是成功训练的JEPAs家族模型，都能直接使用且无需额外训练。

为验证这一发现的可靠性，团队还进行了多组实验。

在ImageNet数据集中，不同JEPAs模型对典型和罕见样本的JEPA-SCORE判定高度一致，证明这是JEPAs的共性能力；面对未参与预训练的星系图像数据集，其JEPA-SCORE显著低于ImageNet数据，说明模型能精准识别陌生数据。

在数据筛选和异常检测的实用测试中，JEPA-SCORE的效果也优于传统方法。

研究团队介绍

此次研究并非LeCun一人之功。

Randall Balestriero是布朗大学计算机科学助理教授，长期致力于人工智能与深度学习研究。

...