worldmodel/JEPA/lejepa_resources.md

LeJEPA 相关资源汇总

通过互联网搜索整理，收录时间：2026-06-01

---

🎬 视频资源

官方演示视频

标题	链接	频道	时间	说明
world model video（官方）	https://youtu.be/EioGDo67ZDs	AI and the Brain	2026-05-09	论文官方配套视频，291次观看，由作者团队发布

📌 该视频由 GitHub README 直接链接，是论文的官方配套演示视频。

---

📄 论文资源

核心论文

论文	arXiv	发表时间	说明
When Does LeJEPA Learn a World Model?	2605.26379	2026-05-25	本文，可识别性理论
LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics	2511.08544	2025-11-11	LeJEPA 原始论文，提出 SIGReg
LeWorldModel: Stable End-to-End JEPA from Pixels	2603.19312	2026-03-13	LeJEPA 扩展到动作条件控制
V-JEPA 2: Self-Supervised Video Models	2506.09985	2025	Meta 的视频 JEPA，理解/预测/规划
Causal-JEPA	2602.11389	2026	通过对象级干预学习世界模型

LeJEPA 原始论文摘要（arXiv:2511.08544）

Learning manipulable representations of the world and its dynamics is central to AI. Joint-Embedding Predictive Architectures (JEPAs) offer a promising blueprint, but lack of practical guidance and theory has led to ad-hoc R&D. We present a comprehensive theory of JEPAs and instantiate it in LeJEPA, a lean, scalable, and theoretically grounded training objective.

核心贡献：

• 识别各向同性高斯分布为 JEPA 嵌入的最优分布
• 提出 SIGReg（Sketched Isotropic Gaussian Regularization）
• 单一超参数、线性时间/内存复杂度、无启发式技巧
• ~50 行代码实现，ViT-H/14 在 ImageNet-1k 达到 79%

LeWorldModel 摘要（arXiv:2603.19312）

LeWorldModel (LeWM) 是首个仅用两个损失项（下一嵌入预测 + 高斯正则化）从原始像素端到端稳定训练的 JEPA。

亮点：

• ~15M 参数，单 GPU 数小时可训
• 规划速度比基础模型快 48 倍
• 潜空间编码有意义的物理结构
• 可可靠检测物理上不合理的事件

---

🌐 官方网站与代码

项目主页

• 官方网站： https://klindtlab.github.io/lejepa-identifiability/
  • 包含完整摘要、定理说明、实验结果图表
  • 发布时间：2026-05-27

代码仓库

• 可识别性论文代码： https://github.com/klindtlab/lejepa-identifiability

  • Lean 4 形式化证明（lean/ 目录）
  • 实验代码（experiments/ 目录）
  • 支持 2D、Scaling、Gennorm、Grid、Reacher 五类实验

• LeJEPA 原始代码： https://github.com/rbalestr-lab/lejepa

  • GitHub Stars: 1,170+
  • 包含完整训练代码

交互演示

• Google Colab Demo（~30秒，T4 GPU）： https://colab.research.google.com/drive/1ozjRk3FfUIDX7WBqlOKvhNcIamy0JxCH?usp=sharing

---

🤗 HuggingFace 资源

论文页面

• 可识别性论文： https://huggingface.co/papers/2605.26379

  • AI 生成摘要：LeJEPA demonstrates linear identifiability of latent variables from nonlinear observations under Gaussian distributions, enabling reliable world modeling and planning.

• LeJEPA 原始论文： https://huggingface.co/papers/2511.08544

相关模型（基于 LeJEPA 训练）

模型	说明
gajeshladhar/core-jepa	图像特征提取，25次下载
falafel-hockey/lejepa-vit-small-patch8-256-sentinel2-5band	遥感图像（Sentinel-2）特征提取
adipanda/lejepa	LeJEPA 模型
caiovicentino1/lejepa-v1-tinyimagenet	TinyImageNet 训练版本

相关数据集

数据集	说明
falafel-hockey/sentinel2-lejepa-global-diverse-256	Sentinel-2 遥感数据，5k 样本

---

📚 相关背景论文

JEPA 系列

论文	说明
LeCun, A Path Towards Autonomous Machine Intelligence (2022)	JEPA 原始提案
I-JEPA (Assran et al., CVPR 2023)	图像 JEPA
V-JEPA (Bardes et al., 2024)	视频 JEPA
V-JEPA 2 (Assran et al., 2025)	视频理解/预测/规划

可识别性理论背景

论文	说明
Hyvärinen & Pajunen (1999)	非线性 ICA 不可识别性
Hyvärinen & Morioka (2016, 2017)	时间对比学习 + 非线性 ICA
Khemakhem et al. (2020)	VAE + 非线性 ICA 统一框架
Sprekeler et al. (2014)	SFA 非线性盲源分离理论
Sobal et al. (2022)	JEPA 关注慢特征

自监督学习对比

方法	论文	与 LeJEPA 关系
VICReg	Bardes et al. (2021)	二阶矩白化，理论上等价
InfoNCE	van den Oord et al. (2018)	隐式高斯化，高维退化
BYOL	Grill et al. (2020)	stop-gradient，无理论保证
SimSiam	Chen & He (2021)	stop-gradient，无理论保证
DINO/DINOv3	Caron et al. (2021) / 2025	自蒸馏 + 特征聚类

---

🔬 技术要点速查

LeJEPA 训练目标

L(h) = λ · L_SIG + (1-λ) · L_inv

L_inv = E[‖h(z') - h(z)‖²]          # 对齐损失（正样本对）
L_SIG = SIGReg(h(z), N(0,I))         # 高斯正则化（防坍塌）

SIGReg 实现原理

• 通过随机切片（sliced/sketching）将嵌入投影到 n_slices=256 个一维方向
• 在 knots=17 个积分节点上估计投影的特征函数（实部 cos + 虚部 sin）
• 与标准高斯特征函数 φ(t)=exp(-t²/2) 对比，按梯形权重×高斯权重加权积分
• 线性时间复杂度，~50 行代码（见 losses.py:SIGReg）

关键超参数

参数	推荐范围	说明
λ（正则化权重）	1e-3 ~ 1e-2	太大→坍塌，太小→不可识别
ρ（OU 相关性）	0.8 ~ 0.95	控制正样本对的相似度

实验结果摘要

维度 N	SIGReg R²	VICReg R²	InfoNCE R²
2	0.999998	0.999996	0.950961
64	0.999966	0.999968	0.648496
256	0.999884	0.999889	0.696587
1024	0.999561	0.999582	0.720241

---

📋 BibTeX 引用

@article{klindt2026lejepa,
  author    = {Klindt, David and LeCun, Yann and Balestriero, Randall},
  title     = {When Does LeJEPA Learn a World Model?},
  year      = {2026},
  journal   = {arXiv preprint arXiv:2605.26379},
}

@article{balestriero2025lejepa,
  author    = {Balestriero, Randall and LeCun, Yann},
  title     = {LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics},
  year      = {2025},
  journal   = {arXiv preprint arXiv:2511.08544},
}

@article{maes2026leworldmodel,
  author    = {Maes, Lucas and Le Lidec, Quentin and Scieur, Damien and LeCun, Yann and Balestriero, Randall},
  title     = {LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels},
  year      = {2026},
  journal   = {arXiv preprint arXiv:2603.19312},
}

---

🗺️ 资源地图

LeJEPA 生态系统
├── 理论基础
│   ├── arXiv:2511.08544 (LeJEPA 原始论文)
│   └── arXiv:2605.26379 (可识别性理论，本文)
├── 应用扩展
│   ├── arXiv:2603.19312 (LeWorldModel，像素控制)
│   └── arXiv:2602.11389 (Causal-JEPA，因果干预)
├── 代码
│   ├── github.com/rbalestr-lab/lejepa (LeJEPA 训练)
│   └── github.com/klindtlab/lejepa-identifiability (可识别性实验)
├── 演示
│   ├── YouTube: youtu.be/EioGDo67ZDs (官方视频)
│   ├── 官网: klindtlab.github.io/lejepa-identifiability
│   └── Colab: 交互式 2D 演示
└── 社区
    ├── HuggingFace: huggingface.co/papers/2605.26379
    └── HuggingFace: huggingface.co/papers/2511.08544 (1170+ Stars)