Refactor code structure for improved readability and maintainability

2026-06-02 04:41:13 +08:00
parent 3df832ac6b
commit 14ff05d9b8
4 changed files with 891 additions and 0 deletions
@@ -0,0 +1,205 @@
+# LeJEPA 相关资源汇总
+
+> 通过互联网搜索整理，收录时间：2026-06-01
+
+---
+
+## 🎬 视频资源
+
+### 官方演示视频
+| 标题 | 链接 | 频道 | 时间 | 说明 |
+|------|------|------|------|------|
+| **world model video**（官方） | https://youtu.be/EioGDo67ZDs | AI and the Brain | 2026-05-09 | 论文官方配套视频，291次观看，由作者团队发布 |
+
+> 📌 该视频由 GitHub README 直接链接，是论文的官方配套演示视频。
+
+---
+
+## 📄 论文资源
+
+### 核心论文
+
+| 论文 | arXiv | 发表时间 | 说明 |
+|------|-------|----------|------|
+| **When Does LeJEPA Learn a World Model?** | [2605.26379](https://arxiv.org/abs/2605.26379) | 2026-05-25 | 本文，可识别性理论 |
+| **LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics** | [2511.08544](https://arxiv.org/abs/2511.08544) | 2025-11-11 | LeJEPA 原始论文，提出 SIGReg |
+| **LeWorldModel: Stable End-to-End JEPA from Pixels** | [2603.19312](https://arxiv.org/abs/2603.19312) | 2026-03-13 | LeJEPA 扩展到动作条件控制 |
+| **V-JEPA 2: Self-Supervised Video Models** | [2506.09985](https://arxiv.org/abs/2506.09985) | 2025 | Meta 的视频 JEPA，理解/预测/规划 |
+| **Causal-JEPA** | [2602.11389](https://arxiv.org/abs/2602.11389) | 2026 | 通过对象级干预学习世界模型 |
+
+### LeJEPA 原始论文摘要（arXiv:2511.08544）
+> Learning manipulable representations of the world and its dynamics is central to AI. Joint-Embedding Predictive Architectures (JEPAs) offer a promising blueprint, but lack of practical guidance and theory has led to ad-hoc R&D. We present a comprehensive theory of JEPAs and instantiate it in **LeJEPA**, a lean, scalable, and theoretically grounded training objective.
+>
+> **核心贡献：**
+> - 识别各向同性高斯分布为 JEPA 嵌入的最优分布
+> - 提出 SIGReg（Sketched Isotropic Gaussian Regularization）
+> - 单一超参数、线性时间/内存复杂度、无启发式技巧
+> - ~50 行代码实现，ViT-H/14 在 ImageNet-1k 达到 79%
+
+### LeWorldModel 摘要（arXiv:2603.19312）
+> LeWorldModel (LeWM) 是首个仅用两个损失项（下一嵌入预测 + 高斯正则化）从原始像素端到端稳定训练的 JEPA。
+>
+> **亮点：**
+> - ~15M 参数，单 GPU 数小时可训
+> - 规划速度比基础模型快 48 倍
+> - 潜空间编码有意义的物理结构
+> - 可可靠检测物理上不合理的事件
+
+---
+
+## 🌐 官方网站与代码
+
+### 项目主页
+- **官方网站：** https://klindtlab.github.io/lejepa-identifiability/
+  - 包含完整摘要、定理说明、实验结果图表
+  - 发布时间：2026-05-27
+
+### 代码仓库
+- **可识别性论文代码：** https://github.com/klindtlab/lejepa-identifiability
+  - Lean 4 形式化证明（`lean/` 目录）
+  - 实验代码（`experiments/` 目录）
+  - 支持 2D、Scaling、Gennorm、Grid、Reacher 五类实验
+
+- **LeJEPA 原始代码：** https://github.com/rbalestr-lab/lejepa
+  - GitHub Stars: 1,170+
+  - 包含完整训练代码
+
+### 交互演示
+- **Google Colab Demo（~30秒，T4 GPU）：**
+  https://colab.research.google.com/drive/1ozjRk3FfUIDX7WBqlOKvhNcIamy0JxCH?usp=sharing
+
+---
+
+## 🤗 HuggingFace 资源
+
+### 论文页面
+- **可识别性论文：** https://huggingface.co/papers/2605.26379
+  - AI 生成摘要：LeJEPA demonstrates linear identifiability of latent variables from nonlinear observations under Gaussian distributions, enabling reliable world modeling and planning.
+
+- **LeJEPA 原始论文：** https://huggingface.co/papers/2511.08544
+
+### 相关模型（基于 LeJEPA 训练）
+| 模型 | 说明 |
+|------|------|
+| [gajeshladhar/core-jepa](https://huggingface.co/gajeshladhar/core-jepa) | 图像特征提取，25次下载 |
+| [falafel-hockey/lejepa-vit-small-patch8-256-sentinel2-5band](https://huggingface.co/falafel-hockey/lejepa-vit-small-patch8-256-sentinel2-5band) | 遥感图像（Sentinel-2）特征提取 |
+| [adipanda/lejepa](https://huggingface.co/adipanda/lejepa) | LeJEPA 模型 |
+| [caiovicentino1/lejepa-v1-tinyimagenet](https://huggingface.co/caiovicentino1/lejepa-v1-tinyimagenet) | TinyImageNet 训练版本 |
+
+### 相关数据集
+| 数据集 | 说明 |
+|--------|------|
+| [falafel-hockey/sentinel2-lejepa-global-diverse-256](https://huggingface.co/datasets/falafel-hockey/sentinel2-lejepa-global-diverse-256) | Sentinel-2 遥感数据，5k 样本 |
+
+---
+
+## 📚 相关背景论文
+
+### JEPA 系列
+| 论文 | 说明 |
+|------|------|
+| LeCun, *A Path Towards Autonomous Machine Intelligence* (2022) | JEPA 原始提案 |
+| I-JEPA (Assran et al., CVPR 2023) | 图像 JEPA |
+| V-JEPA (Bardes et al., 2024) | 视频 JEPA |
+| V-JEPA 2 (Assran et al., 2025) | 视频理解/预测/规划 |
+
+### 可识别性理论背景
+| 论文 | 说明 |
+|------|------|
+| Hyvärinen & Pajunen (1999) | 非线性 ICA 不可识别性 |
+| Hyvärinen & Morioka (2016, 2017) | 时间对比学习 + 非线性 ICA |
+| Khemakhem et al. (2020) | VAE + 非线性 ICA 统一框架 |
+| Sprekeler et al. (2014) | SFA 非线性盲源分离理论 |
+| Sobal et al. (2022) | JEPA 关注慢特征 |
+
+### 自监督学习对比
+| 方法 | 论文 | 与 LeJEPA 关系 |
+|------|------|----------------|
+| VICReg | Bardes et al. (2021) | 二阶矩白化，理论上等价 |
+| InfoNCE | van den Oord et al. (2018) | 隐式高斯化，高维退化 |
+| BYOL | Grill et al. (2020) | stop-gradient，无理论保证 |
+| SimSiam | Chen & He (2021) | stop-gradient，无理论保证 |
+| DINO/DINOv3 | Caron et al. (2021) / 2025 | 自蒸馏 + 特征聚类 |
+
+---
+
+## 🔬 技术要点速查
+
+### LeJEPA 训练目标
+```
+L(h) = λ · L_SIG + (1-λ) · L_inv
+
+L_inv = E[‖h(z') - h(z)‖²]          # 对齐损失（正样本对）
+L_SIG = SIGReg(h(z), N(0,I))         # 高斯正则化（防坍塌）
+```
+
+### SIGReg 实现原理
+- 通过随机切片（sliced/sketching）将嵌入投影到 `n_slices=256` 个一维方向
+- 在 `knots=17` 个积分节点上估计投影的**特征函数**（实部 `cos` + 虚部 `sin`）
+- 与标准高斯特征函数 `φ(t)=exp(-t²/2)` 对比，按梯形权重×高斯权重加权积分
+- 线性时间复杂度，~50 行代码（见 [`losses.py:SIGReg`](lejepa-identifiability/experiments/lejepa_id/losses.py:8)）
+
+### 关键超参数
+| 参数 | 推荐范围 | 说明 |
+|------|----------|------|
+| `λ`（正则化权重） | `1e-3` ~ `1e-2` | 太大→坍塌，太小→不可识别 |
+| `ρ`（OU 相关性） | `0.8` ~ `0.95` | 控制正样本对的相似度 |
+
+### 实验结果摘要
+| 维度 N | SIGReg R² | VICReg R² | InfoNCE R² |
+|--------|-----------|-----------|------------|
+| 2 | 0.999998 | 0.999996 | 0.950961 |
+| 64 | 0.999966 | 0.999968 | 0.648496 |
+| 256 | 0.999884 | 0.999889 | 0.696587 |
+| 1024 | 0.999561 | 0.999582 | 0.720241 |
+
+---
+
+## 📋 BibTeX 引用
+
+```bibtex
+@article{klindt2026lejepa,
+  author    = {Klindt, David and LeCun, Yann and Balestriero, Randall},
+  title     = {When Does LeJEPA Learn a World Model?},
+  year      = {2026},
+  journal   = {arXiv preprint arXiv:2605.26379},
+}
+
+@article{balestriero2025lejepa,
+  author    = {Balestriero, Randall and LeCun, Yann},
+  title     = {LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics},
+  year      = {2025},
+  journal   = {arXiv preprint arXiv:2511.08544},
+}
+
+@article{maes2026leworldmodel,
+  author    = {Maes, Lucas and Le Lidec, Quentin and Scieur, Damien and LeCun, Yann and Balestriero, Randall},
+  title     = {LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels},
+  year      = {2026},
+  journal   = {arXiv preprint arXiv:2603.19312},
+}
+```
+
+---
+
+## 🗺️ 资源地图
+
+```
+LeJEPA 生态系统
+├── 理论基础
+│   ├── arXiv:2511.08544 (LeJEPA 原始论文)
+│   └── arXiv:2605.26379 (可识别性理论，本文)
+├── 应用扩展
+│   ├── arXiv:2603.19312 (LeWorldModel，像素控制)
+│   └── arXiv:2602.11389 (Causal-JEPA，因果干预)
+├── 代码
+│   ├── github.com/rbalestr-lab/lejepa (LeJEPA 训练)
+│   └── github.com/klindtlab/lejepa-identifiability (可识别性实验)
+├── 演示
+│   ├── YouTube: youtu.be/EioGDo67ZDs (官方视频)
+│   ├── 官网: klindtlab.github.io/lejepa-identifiability
+│   └── Colab: 交互式 2D 演示
+└── 社区
+    ├── HuggingFace: huggingface.co/papers/2605.26379
+    └── HuggingFace: huggingface.co/papers/2511.08544 (1170+ Stars)
+```