gaojie
8.0 KiB
8.0 KiB
LeJEPA 相关资源汇总
通过互联网搜索整理，收录时间：2026-06-01
🎬 视频资源
官方演示视频
| 标题 | 链接 | 频道 | 时间 | 说明 |
|---|---|---|---|---|
| world model video（官方） | https://youtu.be/EioGDo67ZDs | AI and the Brain | 2026-05-09 | 论文官方配套视频，291次观看，由作者团队发布 |
📌 该视频由 GitHub README 直接链接，是论文的官方配套演示视频。
📄 论文资源
核心论文
| 论文 | arXiv | 发表时间 | 说明 |
|---|---|---|---|
| When Does LeJEPA Learn a World Model? | 2605.26379 | 2026-05-25 | 本文，可识别性理论 |
| LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics | 2511.08544 | 2025-11-11 | LeJEPA 原始论文，提出 SIGReg |
| LeWorldModel: Stable End-to-End JEPA from Pixels | 2603.19312 | 2026-03-13 | LeJEPA 扩展到动作条件控制 |
| V-JEPA 2: Self-Supervised Video Models | 2506.09985 | 2025 | Meta 的视频 JEPA，理解/预测/规划 |
| Causal-JEPA | 2602.11389 | 2026 | 通过对象级干预学习世界模型 |
LeJEPA 原始论文摘要（arXiv:2511.08544）
Learning manipulable representations of the world and its dynamics is central to AI. Joint-Embedding Predictive Architectures (JEPAs) offer a promising blueprint, but lack of practical guidance and theory has led to ad-hoc R&D. We present a comprehensive theory of JEPAs and instantiate it in LeJEPA, a lean, scalable, and theoretically grounded training objective.
核心贡献：
- 识别各向同性高斯分布为 JEPA 嵌入的最优分布
- 提出 SIGReg（Sketched Isotropic Gaussian Regularization）
- 单一超参数、线性时间/内存复杂度、无启发式技巧
- ~50 行代码实现，ViT-H/14 在 ImageNet-1k 达到 79%
LeWorldModel 摘要（arXiv:2603.19312）
LeWorldModel (LeWM) 是首个仅用两个损失项（下一嵌入预测 + 高斯正则化）从原始像素端到端稳定训练的 JEPA。
亮点：
- ~15M 参数，单 GPU 数小时可训
- 规划速度比基础模型快 48 倍
- 潜空间编码有意义的物理结构
- 可可靠检测物理上不合理的事件
🌐 官方网站与代码
项目主页
- 官方网站： https://klindtlab.github.io/lejepa-identifiability/
- 包含完整摘要、定理说明、实验结果图表
- 发布时间：2026-05-27
代码仓库
-
可识别性论文代码： https://github.com/klindtlab/lejepa-identifiability
- Lean 4 形式化证明（
lean/目录） - 实验代码（
experiments/目录） - 支持 2D、Scaling、Gennorm、Grid、Reacher 五类实验
- Lean 4 形式化证明（
-
LeJEPA 原始代码： https://github.com/rbalestr-lab/lejepa
- GitHub Stars: 1,170+
- 包含完整训练代码
交互演示
- Google Colab Demo（~30秒，T4 GPU）： https://colab.research.google.com/drive/1ozjRk3FfUIDX7WBqlOKvhNcIamy0JxCH?usp=sharing
🤗 HuggingFace 资源
论文页面
-
可识别性论文： https://huggingface.co/papers/2605.26379
- AI 生成摘要：LeJEPA demonstrates linear identifiability of latent variables from nonlinear observations under Gaussian distributions, enabling reliable world modeling and planning.
-
LeJEPA 原始论文： https://huggingface.co/papers/2511.08544
相关模型（基于 LeJEPA 训练）
| 模型 | 说明 |
|---|---|
| gajeshladhar/core-jepa | 图像特征提取，25次下载 |
| falafel-hockey/lejepa-vit-small-patch8-256-sentinel2-5band | 遥感图像（Sentinel-2）特征提取 |
| adipanda/lejepa | LeJEPA 模型 |
| caiovicentino1/lejepa-v1-tinyimagenet | TinyImageNet 训练版本 |
相关数据集
| 数据集 | 说明 |
|---|---|
| falafel-hockey/sentinel2-lejepa-global-diverse-256 | Sentinel-2 遥感数据，5k 样本 |
📚 相关背景论文
JEPA 系列
| 论文 | 说明 |
|---|---|
| LeCun, A Path Towards Autonomous Machine Intelligence (2022) | JEPA 原始提案 |
| I-JEPA (Assran et al., CVPR 2023) | 图像 JEPA |
| V-JEPA (Bardes et al., 2024) | 视频 JEPA |
| V-JEPA 2 (Assran et al., 2025) | 视频理解/预测/规划 |
可识别性理论背景
| 论文 | 说明 |
|---|---|
| Hyvärinen & Pajunen (1999) | 非线性 ICA 不可识别性 |
| Hyvärinen & Morioka (2016, 2017) | 时间对比学习 + 非线性 ICA |
| Khemakhem et al. (2020) | VAE + 非线性 ICA 统一框架 |
| Sprekeler et al. (2014) | SFA 非线性盲源分离理论 |
| Sobal et al. (2022) | JEPA 关注慢特征 |
自监督学习对比
| 方法 | 论文 | 与 LeJEPA 关系 |
|---|---|---|
| VICReg | Bardes et al. (2021) | 二阶矩白化，理论上等价 |
| InfoNCE | van den Oord et al. (2018) | 隐式高斯化，高维退化 |
| BYOL | Grill et al. (2020) | stop-gradient，无理论保证 |
| SimSiam | Chen & He (2021) | stop-gradient，无理论保证 |
| DINO/DINOv3 | Caron et al. (2021) / 2025 | 自蒸馏 + 特征聚类 |
🔬 技术要点速查
LeJEPA 训练目标
L(h) = λ · L_SIG + (1-λ) · L_inv
L_inv = E[‖h(z') - h(z)‖²] # 对齐损失（正样本对）
L_SIG = SIGReg(h(z), N(0,I)) # 高斯正则化（防坍塌）
SIGReg 实现原理
- 通过随机投影（sketching）估计嵌入分布的特征函数
- 与标准高斯的特征函数对比，计算偏差
- 线性时间复杂度，~50 行代码
关键超参数
| 参数 | 推荐范围 | 说明 |
|---|---|---|
λ（正则化权重） |
1e-3 ~ 1e-2 |
太大→坍塌，太小→不可识别 |
ρ（OU 相关性） |
0.8 ~ 0.95 |
控制正样本对的相似度 |
实验结果摘要
| 维度 N | SIGReg R² | VICReg R² | InfoNCE R² |
|---|---|---|---|
| 2 | 0.999998 | 0.999996 | 0.950961 |
| 64 | 0.999966 | 0.999968 | 0.648496 |
| 256 | 0.999884 | 0.999889 | 0.696587 |
| 1024 | 0.999561 | 0.999582 | 0.720241 |
📋 BibTeX 引用
@article{klindt2026lejepa,
author = {Klindt, David and LeCun, Yann and Balestriero, Randall},
title = {When Does LeJEPA Learn a World Model?},
year = {2026},
journal = {arXiv preprint arXiv:2605.26379},
}
@article{balestriero2025lejepa,
author = {Balestriero, Randall and LeCun, Yann},
title = {LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics},
year = {2025},
journal = {arXiv preprint arXiv:2511.08544},
}
@article{maes2026leworldmodel,
author = {Maes, Lucas and Le Lidec, Quentin and Scieur, Damien and LeCun, Yann and Balestriero, Randall},
title = {LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels},
year = {2026},
journal = {arXiv preprint arXiv:2603.19312},
}
🗺️ 资源地图
LeJEPA 生态系统
├── 理论基础
│ ├── arXiv:2511.08544 (LeJEPA 原始论文)
│ └── arXiv:2605.26379 (可识别性理论，本文)
├── 应用扩展
│ ├── arXiv:2603.19312 (LeWorldModel，像素控制)
│ └── arXiv:2602.11389 (Causal-JEPA，因果干预)
├── 代码
│ ├── github.com/rbalestr-lab/lejepa (LeJEPA 训练)
│ └── github.com/klindtlab/lejepa-identifiability (可识别性实验)
├── 演示
│ ├── YouTube: youtu.be/EioGDo67ZDs (官方视频)
│ ├── 官网: klindtlab.github.io/lejepa-identifiability
│ └── Colab: 交互式 2D 演示
└── 社区
├── HuggingFace: huggingface.co/papers/2605.26379
└── HuggingFace: huggingface.co/papers/2511.08544 (1170+ Stars)