gaojie
205 lines
8.0 KiB
Markdown
205 lines
8.0 KiB
Markdown
# LeJEPA 相关资源汇总
|
||
|
||
> 通过互联网搜索整理，收录时间：2026-06-01
|
||
|
||
---
|
||
|
||
## 🎬 视频资源
|
||
|
||
### 官方演示视频
|
||
| 标题 | 链接 | 频道 | 时间 | 说明 |
|
||
|------|------|------|------|------|
|
||
| **world model video**（官方） | https://youtu.be/EioGDo67ZDs | AI and the Brain | 2026-05-09 | 论文官方配套视频，291次观看，由作者团队发布 |
|
||
|
||
> 📌 该视频由 GitHub README 直接链接，是论文的官方配套演示视频。
|
||
|
||
---
|
||
|
||
## 📄 论文资源
|
||
|
||
### 核心论文
|
||
|
||
| 论文 | arXiv | 发表时间 | 说明 |
|
||
|------|-------|----------|------|
|
||
| **When Does LeJEPA Learn a World Model?** | [2605.26379](https://arxiv.org/abs/2605.26379) | 2026-05-25 | 本文，可识别性理论 |
|
||
| **LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics** | [2511.08544](https://arxiv.org/abs/2511.08544) | 2025-11-11 | LeJEPA 原始论文，提出 SIGReg |
|
||
| **LeWorldModel: Stable End-to-End JEPA from Pixels** | [2603.19312](https://arxiv.org/abs/2603.19312) | 2026-03-13 | LeJEPA 扩展到动作条件控制 |
|
||
| **V-JEPA 2: Self-Supervised Video Models** | [2506.09985](https://arxiv.org/abs/2506.09985) | 2025 | Meta 的视频 JEPA，理解/预测/规划 |
|
||
| **Causal-JEPA** | [2602.11389](https://arxiv.org/abs/2602.11389) | 2026 | 通过对象级干预学习世界模型 |
|
||
|
||
### LeJEPA 原始论文摘要（arXiv:2511.08544）
|
||
> Learning manipulable representations of the world and its dynamics is central to AI. Joint-Embedding Predictive Architectures (JEPAs) offer a promising blueprint, but lack of practical guidance and theory has led to ad-hoc R&D. We present a comprehensive theory of JEPAs and instantiate it in **LeJEPA**, a lean, scalable, and theoretically grounded training objective.
|
||
>
|
||
> **核心贡献：**
|
||
> - 识别各向同性高斯分布为 JEPA 嵌入的最优分布
|
||
> - 提出 SIGReg（Sketched Isotropic Gaussian Regularization）
|
||
> - 单一超参数、线性时间/内存复杂度、无启发式技巧
|
||
> - ~50 行代码实现，ViT-H/14 在 ImageNet-1k 达到 79%
|
||
|
||
### LeWorldModel 摘要（arXiv:2603.19312）
|
||
> LeWorldModel (LeWM) 是首个仅用两个损失项（下一嵌入预测 + 高斯正则化）从原始像素端到端稳定训练的 JEPA。
|
||
>
|
||
> **亮点：**
|
||
> - ~15M 参数，单 GPU 数小时可训
|
||
> - 规划速度比基础模型快 48 倍
|
||
> - 潜空间编码有意义的物理结构
|
||
> - 可可靠检测物理上不合理的事件
|
||
|
||
---
|
||
|
||
## 🌐 官方网站与代码
|
||
|
||
### 项目主页
|
||
- **官方网站：** https://klindtlab.github.io/lejepa-identifiability/
|
||
- 包含完整摘要、定理说明、实验结果图表
|
||
- 发布时间：2026-05-27
|
||
|
||
### 代码仓库
|
||
- **可识别性论文代码：** https://github.com/klindtlab/lejepa-identifiability
|
||
- Lean 4 形式化证明（`lean/` 目录）
|
||
- 实验代码（`experiments/` 目录）
|
||
- 支持 2D、Scaling、Gennorm、Grid、Reacher 五类实验
|
||
|
||
- **LeJEPA 原始代码：** https://github.com/rbalestr-lab/lejepa
|
||
- GitHub Stars: 1,170+
|
||
- 包含完整训练代码
|
||
|
||
### 交互演示
|
||
- **Google Colab Demo（~30秒，T4 GPU）：**
|
||
https://colab.research.google.com/drive/1ozjRk3FfUIDX7WBqlOKvhNcIamy0JxCH?usp=sharing
|
||
|
||
---
|
||
|
||
## 🤗 HuggingFace 资源
|
||
|
||
### 论文页面
|
||
- **可识别性论文：** https://huggingface.co/papers/2605.26379
|
||
- AI 生成摘要：LeJEPA demonstrates linear identifiability of latent variables from nonlinear observations under Gaussian distributions, enabling reliable world modeling and planning.
|
||
|
||
- **LeJEPA 原始论文：** https://huggingface.co/papers/2511.08544
|
||
|
||
### 相关模型（基于 LeJEPA 训练）
|
||
| 模型 | 说明 |
|
||
|------|------|
|
||
| [gajeshladhar/core-jepa](https://huggingface.co/gajeshladhar/core-jepa) | 图像特征提取，25次下载 |
|
||
| [falafel-hockey/lejepa-vit-small-patch8-256-sentinel2-5band](https://huggingface.co/falafel-hockey/lejepa-vit-small-patch8-256-sentinel2-5band) | 遥感图像（Sentinel-2）特征提取 |
|
||
| [adipanda/lejepa](https://huggingface.co/adipanda/lejepa) | LeJEPA 模型 |
|
||
| [caiovicentino1/lejepa-v1-tinyimagenet](https://huggingface.co/caiovicentino1/lejepa-v1-tinyimagenet) | TinyImageNet 训练版本 |
|
||
|
||
### 相关数据集
|
||
| 数据集 | 说明 |
|
||
|--------|------|
|
||
| [falafel-hockey/sentinel2-lejepa-global-diverse-256](https://huggingface.co/datasets/falafel-hockey/sentinel2-lejepa-global-diverse-256) | Sentinel-2 遥感数据，5k 样本 |
|
||
|
||
---
|
||
|
||
## 📚 相关背景论文
|
||
|
||
### JEPA 系列
|
||
| 论文 | 说明 |
|
||
|------|------|
|
||
| LeCun, *A Path Towards Autonomous Machine Intelligence* (2022) | JEPA 原始提案 |
|
||
| I-JEPA (Assran et al., CVPR 2023) | 图像 JEPA |
|
||
| V-JEPA (Bardes et al., 2024) | 视频 JEPA |
|
||
| V-JEPA 2 (Assran et al., 2025) | 视频理解/预测/规划 |
|
||
|
||
### 可识别性理论背景
|
||
| 论文 | 说明 |
|
||
|------|------|
|
||
| Hyvärinen & Pajunen (1999) | 非线性 ICA 不可识别性 |
|
||
| Hyvärinen & Morioka (2016, 2017) | 时间对比学习 + 非线性 ICA |
|
||
| Khemakhem et al. (2020) | VAE + 非线性 ICA 统一框架 |
|
||
| Sprekeler et al. (2014) | SFA 非线性盲源分离理论 |
|
||
| Sobal et al. (2022) | JEPA 关注慢特征 |
|
||
|
||
### 自监督学习对比
|
||
| 方法 | 论文 | 与 LeJEPA 关系 |
|
||
|------|------|----------------|
|
||
| VICReg | Bardes et al. (2021) | 二阶矩白化，理论上等价 |
|
||
| InfoNCE | van den Oord et al. (2018) | 隐式高斯化，高维退化 |
|
||
| BYOL | Grill et al. (2020) | stop-gradient，无理论保证 |
|
||
| SimSiam | Chen & He (2021) | stop-gradient，无理论保证 |
|
||
| DINO/DINOv3 | Caron et al. (2021) / 2025 | 自蒸馏 + 特征聚类 |
|
||
|
||
---
|
||
|
||
## 🔬 技术要点速查
|
||
|
||
### LeJEPA 训练目标
|
||
```
|
||
L(h) = λ · L_SIG + (1-λ) · L_inv
|
||
|
||
L_inv = E[‖h(z') - h(z)‖²] # 对齐损失（正样本对）
|
||
L_SIG = SIGReg(h(z), N(0,I)) # 高斯正则化（防坍塌）
|
||
```
|
||
|
||
### SIGReg 实现原理
|
||
- 通过随机投影（sketching）估计嵌入分布的特征函数
|
||
- 与标准高斯的特征函数对比，计算偏差
|
||
- 线性时间复杂度，~50 行代码
|
||
|
||
### 关键超参数
|
||
| 参数 | 推荐范围 | 说明 |
|
||
|------|----------|------|
|
||
| `λ`（正则化权重） | `1e-3` ~ `1e-2` | 太大→坍塌，太小→不可识别 |
|
||
| `ρ`（OU 相关性） | `0.8` ~ `0.95` | 控制正样本对的相似度 |
|
||
|
||
### 实验结果摘要
|
||
| 维度 N | SIGReg R² | VICReg R² | InfoNCE R² |
|
||
|--------|-----------|-----------|------------|
|
||
| 2 | 0.999998 | 0.999996 | 0.950961 |
|
||
| 64 | 0.999966 | 0.999968 | 0.648496 |
|
||
| 256 | 0.999884 | 0.999889 | 0.696587 |
|
||
| 1024 | 0.999561 | 0.999582 | 0.720241 |
|
||
|
||
---
|
||
|
||
## 📋 BibTeX 引用
|
||
|
||
```bibtex
|
||
@article{klindt2026lejepa,
|
||
author = {Klindt, David and LeCun, Yann and Balestriero, Randall},
|
||
title = {When Does LeJEPA Learn a World Model?},
|
||
year = {2026},
|
||
journal = {arXiv preprint arXiv:2605.26379},
|
||
}
|
||
|
||
@article{balestriero2025lejepa,
|
||
author = {Balestriero, Randall and LeCun, Yann},
|
||
title = {LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics},
|
||
year = {2025},
|
||
journal = {arXiv preprint arXiv:2511.08544},
|
||
}
|
||
|
||
@article{maes2026leworldmodel,
|
||
author = {Maes, Lucas and Le Lidec, Quentin and Scieur, Damien and LeCun, Yann and Balestriero, Randall},
|
||
title = {LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels},
|
||
year = {2026},
|
||
journal = {arXiv preprint arXiv:2603.19312},
|
||
}
|
||
```
|
||
|
||
---
|
||
|
||
## 🗺️ 资源地图
|
||
|
||
```
|
||
LeJEPA 生态系统
|
||
├── 理论基础
|
||
│ ├── arXiv:2511.08544 (LeJEPA 原始论文)
|
||
│ └── arXiv:2605.26379 (可识别性理论，本文)
|
||
├── 应用扩展
|
||
│ ├── arXiv:2603.19312 (LeWorldModel，像素控制)
|
||
│ └── arXiv:2602.11389 (Causal-JEPA，因果干预)
|
||
├── 代码
|
||
│ ├── github.com/rbalestr-lab/lejepa (LeJEPA 训练)
|
||
│ └── github.com/klindtlab/lejepa-identifiability (可识别性实验)
|
||
├── 演示
|
||
│ ├── YouTube: youtu.be/EioGDo67ZDs (官方视频)
|
||
│ ├── 官网: klindtlab.github.io/lejepa-identifiability
|
||
│ └── Colab: 交互式 2D 演示
|
||
└── 社区
|
||
├── HuggingFace: huggingface.co/papers/2605.26379
|
||
└── HuggingFace: huggingface.co/papers/2511.08544 (1170+ Stars)
|
||
```
|