worldmodel/JEPA/achieve/lejepa_resources.md

# LeJEPA 相关资源汇总

> 通过互联网搜索整理，收录时间：2026-06-01

---

## 🎬 视频资源

### 官方演示视频
| 标题 | 链接 | 频道 | 时间 | 说明 |
|------|------|------|------|------|
| **world model video**（官方） | https://youtu.be/EioGDo67ZDs | AI and the Brain | 2026-05-09 | 论文官方配套视频，291次观看，由作者团队发布 |

> 📌 该视频由 GitHub README 直接链接，是论文的官方配套演示视频。

---

## 📄 论文资源

### 核心论文

| 论文 | arXiv | 发表时间 | 说明 |
|------|-------|----------|------|
| **When Does LeJEPA Learn a World Model?** | [2605.26379](https://arxiv.org/abs/2605.26379) | 2026-05-25 | 本文，可识别性理论 |
| **LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics** | [2511.08544](https://arxiv.org/abs/2511.08544) | 2025-11-11 | LeJEPA 原始论文，提出 SIGReg |
| **LeWorldModel: Stable End-to-End JEPA from Pixels** | [2603.19312](https://arxiv.org/abs/2603.19312) | 2026-03-13 | LeJEPA 扩展到动作条件控制 |
| **V-JEPA 2: Self-Supervised Video Models** | [2506.09985](https://arxiv.org/abs/2506.09985) | 2025 | Meta 的视频 JEPA，理解/预测/规划 |
| **Causal-JEPA** | [2602.11389](https://arxiv.org/abs/2602.11389) | 2026 | 通过对象级干预学习世界模型 |

### LeJEPA 原始论文摘要（arXiv:2511.08544）
> Learning manipulable representations of the world and its dynamics is central to AI. Joint-Embedding Predictive Architectures (JEPAs) offer a promising blueprint, but lack of practical guidance and theory has led to ad-hoc R&D. We present a comprehensive theory of JEPAs and instantiate it in **LeJEPA**, a lean, scalable, and theoretically grounded training objective.
>
> **核心贡献：**
> - 识别各向同性高斯分布为 JEPA 嵌入的最优分布
> - 提出 SIGReg（Sketched Isotropic Gaussian Regularization）
> - 单一超参数、线性时间/内存复杂度、无启发式技巧
> - ~50 行代码实现，ViT-H/14 在 ImageNet-1k 达到 79%

### LeWorldModel 摘要（arXiv:2603.19312）
> LeWorldModel (LeWM) 是首个仅用两个损失项（下一嵌入预测 + 高斯正则化）从原始像素端到端稳定训练的 JEPA。
>
> **亮点：**
> - ~15M 参数，单 GPU 数小时可训
> - 规划速度比基础模型快 48 倍
> - 潜空间编码有意义的物理结构
> - 可可靠检测物理上不合理的事件

---

## 🌐 官方网站与代码

### 项目主页
- **官方网站：** https://klindtlab.github.io/lejepa-identifiability/
  - 包含完整摘要、定理说明、实验结果图表
  - 发布时间：2026-05-27

### 代码仓库
- **可识别性论文代码：** https://github.com/klindtlab/lejepa-identifiability
  - Lean 4 形式化证明（`lean/` 目录）
  - 实验代码（`experiments/` 目录）
  - 支持 2D、Scaling、Gennorm、Grid、Reacher 五类实验

- **LeJEPA 原始代码：** https://github.com/rbalestr-lab/lejepa
  - GitHub Stars: 1,170+
  - 包含完整训练代码

### 交互演示
- **Google Colab Demo（~30秒，T4 GPU）：**
  https://colab.research.google.com/drive/1ozjRk3FfUIDX7WBqlOKvhNcIamy0JxCH?usp=sharing

---

## 🤗 HuggingFace 资源

### 论文页面
- **可识别性论文：** https://huggingface.co/papers/2605.26379
  - AI 生成摘要：LeJEPA demonstrates linear identifiability of latent variables from nonlinear observations under Gaussian distributions, enabling reliable world modeling and planning.

- **LeJEPA 原始论文：** https://huggingface.co/papers/2511.08544

### 相关模型（基于 LeJEPA 训练）
| 模型 | 说明 |
|------|------|
| [gajeshladhar/core-jepa](https://huggingface.co/gajeshladhar/core-jepa) | 图像特征提取，25次下载 |
| [falafel-hockey/lejepa-vit-small-patch8-256-sentinel2-5band](https://huggingface.co/falafel-hockey/lejepa-vit-small-patch8-256-sentinel2-5band) | 遥感图像（Sentinel-2）特征提取 |
| [adipanda/lejepa](https://huggingface.co/adipanda/lejepa) | LeJEPA 模型 |
| [caiovicentino1/lejepa-v1-tinyimagenet](https://huggingface.co/caiovicentino1/lejepa-v1-tinyimagenet) | TinyImageNet 训练版本 |

### 相关数据集
| 数据集 | 说明 |
|--------|------|
| [falafel-hockey/sentinel2-lejepa-global-diverse-256](https://huggingface.co/datasets/falafel-hockey/sentinel2-lejepa-global-diverse-256) | Sentinel-2 遥感数据，5k 样本 |

---

## 📚 相关背景论文

### JEPA 系列
| 论文 | 说明 |
|------|------|
| LeCun, *A Path Towards Autonomous Machine Intelligence* (2022) | JEPA 原始提案 |
| I-JEPA (Assran et al., CVPR 2023) | 图像 JEPA |
| V-JEPA (Bardes et al., 2024) | 视频 JEPA |
| V-JEPA 2 (Assran et al., 2025) | 视频理解/预测/规划 |

### 可识别性理论背景
| 论文 | 说明 |
|------|------|
| Hyvärinen & Pajunen (1999) | 非线性 ICA 不可识别性 |
| Hyvärinen & Morioka (2016, 2017) | 时间对比学习 + 非线性 ICA |
| Khemakhem et al. (2020) | VAE + 非线性 ICA 统一框架 |
| Sprekeler et al. (2014) | SFA 非线性盲源分离理论 |
| Sobal et al. (2022) | JEPA 关注慢特征 |

### 自监督学习对比
| 方法 | 论文 | 与 LeJEPA 关系 |
|------|------|----------------|
| VICReg | Bardes et al. (2021) | 二阶矩白化，理论上等价 |
| InfoNCE | van den Oord et al. (2018) | 隐式高斯化，高维退化 |
| BYOL | Grill et al. (2020) | stop-gradient，无理论保证 |
| SimSiam | Chen & He (2021) | stop-gradient，无理论保证 |
| DINO/DINOv3 | Caron et al. (2021) / 2025 | 自蒸馏 + 特征聚类 |

---

## 🔬 技术要点速查

### LeJEPA 训练目标
```
L(h) = λ · L_SIG + (1-λ) · L_inv

L_inv = E[‖h(z') - h(z)‖²]          # 对齐损失（正样本对）
L_SIG = SIGReg(h(z), N(0,I))         # 高斯正则化（防坍塌）
```

### SIGReg 实现原理
- 通过随机切片（sliced/sketching）将嵌入投影到 `n_slices=256` 个一维方向
- 在 `knots=17` 个积分节点上估计投影的**特征函数**（实部 `cos` + 虚部 `sin`）
- 与标准高斯特征函数 `φ(t)=exp(-t²/2)` 对比，按梯形权重×高斯权重加权积分
- 线性时间复杂度，~50 行代码（见 [`losses.py:SIGReg`](lejepa-identifiability/experiments/lejepa_id/losses.py:8)）

### 关键超参数
| 参数 | 推荐范围 | 说明 |
|------|----------|------|
| `λ`（正则化权重） | `1e-3` ~ `1e-2` | 太大→坍塌，太小→不可识别 |
| `ρ`（OU 相关性） | `0.8` ~ `0.95` | 控制正样本对的相似度 |

### 实验结果摘要
| 维度 N | SIGReg R² | VICReg R² | InfoNCE R² |
|--------|-----------|-----------|------------|
| 2 | 0.999998 | 0.999996 | 0.950961 |
| 64 | 0.999966 | 0.999968 | 0.648496 |
| 256 | 0.999884 | 0.999889 | 0.696587 |
| 1024 | 0.999561 | 0.999582 | 0.720241 |

---

## 📋 BibTeX 引用

```bibtex
@article{klindt2026lejepa,
  author    = {Klindt, David and LeCun, Yann and Balestriero, Randall},
  title     = {When Does LeJEPA Learn a World Model?},
  year      = {2026},
  journal   = {arXiv preprint arXiv:2605.26379},
}

@article{balestriero2025lejepa,
  author    = {Balestriero, Randall and LeCun, Yann},
  title     = {LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics},
  year      = {2025},
  journal   = {arXiv preprint arXiv:2511.08544},
}

@article{maes2026leworldmodel,
  author    = {Maes, Lucas and Le Lidec, Quentin and Scieur, Damien and LeCun, Yann and Balestriero, Randall},
  title     = {LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels},
  year      = {2026},
  journal   = {arXiv preprint arXiv:2603.19312},
}
```

---

## 🗺️ 资源地图

```
LeJEPA 生态系统
├── 理论基础
│   ├── arXiv:2511.08544 (LeJEPA 原始论文)
│   └── arXiv:2605.26379 (可识别性理论，本文)
├── 应用扩展
│   ├── arXiv:2603.19312 (LeWorldModel，像素控制)
│   └── arXiv:2602.11389 (Causal-JEPA，因果干预)
├── 代码
│   ├── github.com/rbalestr-lab/lejepa (LeJEPA 训练)
│   └── github.com/klindtlab/lejepa-identifiability (可识别性实验)
├── 演示
│   ├── YouTube: youtu.be/EioGDo67ZDs (官方视频)
│   ├── 官网: klindtlab.github.io/lejepa-identifiability
│   └── Colab: 交互式 2D 演示
└── 社区
    ├── HuggingFace: huggingface.co/papers/2605.26379
    └── HuggingFace: huggingface.co/papers/2511.08544 (1170+ Stars)
```