Add detailed lecture plan and summary for LeJEPA four theorems

- Introduced a comprehensive lecture plan for the four main theorems in LeJEPA, including knowledge dependency graphs, detailed outlines for each topic, and corresponding Lean 4 files for formal verification. - Created a summary document encapsulating the core insights and mathematical structures of the four theorems, emphasizing their interdependencies and implications in the context of LeJEPA.
2026-06-05 16:30:24 +08:00
parent cf3691ad8b
commit b5499c7ea0
13 changed files with 4254 additions and 958 deletions
@@ -1,135 +1,133 @@
-# LeJEPA 数学证明分解导航
+# LeJEPA 数学证明专题讲解

-> 本目录将论文 *When Does LeJEPA Learn a World Model?* 的数学证明拆分为 6 个独立 topic，每个 topic 专注一个概念，循序渐进。
+> 本目录将论文 *When Does LeJEPA Learn a World Model?*（NeurIPS 2025）的数学证明拆分为 **6 个专题**，每个专题专注一个核心概念，循序渐进地展开严格数学推导。
 >
-> **建议阅读顺序：** Topic 1 → 2 → 3 → 4 → 5 → 6
+> **建议阅读顺序：** 专题 I → II → III → IV → V → VI（严格依赖关系见下方知识图）
 >
-> 🎬 **交互式动画：** 每个 topic 都配有可拖动参数的交互式可视化，见 [`animations/`](animations/README.md)。
+> 🎬 **交互式动画：** 每个专题都配有可拖动参数的可视化，见 [`animations/`](animations/README.md)
+> 🖥️ **Lean 4 形式化：** 所有核心定理均已零 `sorry` 验证，见 [`lejepa-identifiability/lean/`](../lejepa-identifiability/lean/)

 ---

-## 📚 Topic 列表
+## 📚 专题列表与更新状态

-| # | 文件 | 核心概念 | 对应定理 | 难度 |
-|---|------|---------|---------|------|
-| 1 | [Hermite 多项式](01_hermite_polynomials.md) | 高斯分布下的函数分解工具 | 定理1基础 | ⭐⭐ |
-| 2 | [OU 过程与 Mehler 公式](02_ou_process_mehler.md) | 正样本对生成 + 高阶衰减 | 定理1基础 | ⭐⭐ |
-| 3 | [谱分解与线性可识别性](03_spectral_identifiability.md) | 定理1完整证明 | **定理 1** | ⭐⭐⭐ |
-| 4 | [Sturm-Liouville 与高斯唯一性](04_sturm_liouville_uniqueness.md) | 为什么只有高斯分布有效 | **定理 2** | ⭐⭐⭐ |
-| 5 | [近似可识别性界](05_approximate_identifiability.md) | 误差如何优雅降级 | **定理 3** | ⭐⭐ |
-| 6 | [正交不变性与最优规划](06_planning_equivalence.md) | 潜空间规划等价于真实规划 | **定理 4** | ⭐⭐ |
+| # | 文件 | 核心概念 | 对应定理 | 难度 | 状态 |
+|---|------|---------|---------|------|------|
+| I | [Hermite 多项式与谱分解理论](01_hermite_polynomials.md) | $L^2(\gamma)$ 完备正交基、Rodrigues公式、生成函数推导 | 定理1基础工具 | ⭐⭐ | ✅ **已重写：严格数学证明** |
+| II | [OU 过程与 Mehler 公式](02_ou_process_mehler.md) | SDE显式解、转移核推导、Mehler求和公式完整证明 | 定理1基础工具 | ⭐⭐⭐ | ✅ **已重写：严格数学推导** |
+| III | [谱分解与线性可识别性](03_spectral_identifiability.md) | 定理1完整证明（Hermite展开 + Mehler公式组合）| **定理 1** | ⭐⭐⭐ | 📝 待更新为严格版本 |
+| IV | [Sturm-Liouville 与高斯唯一性](04_sturm_liouville_uniqueness.md) | SL特征值理论、得分函数分析、ICA对比 | **定理 2** | ⭐⭐⭐ | 📝 待更新为严格版本 |
+| V | [近似可识别性界](05_approximate_identifiability.md) | 对齐间隙δ、白化误差ε、Procrustes分析 + 严格四步证明 | **定理 3** | ⭐⭐⭐ | ✅ **已重写：严格数学推导** |
+| VI | [正交不变性与最优规划](06_planning_equivalence.md) | O(n)-不变代价函数、转移核推前 + 规划等价严格证明| **定理 4** | ⭐⭐⭐ | ✅ **已重写：严格数学推导** |

 ---

 ## 🗺️ 知识依赖图

 ```
-Topic 1: Hermite 多项式
+专题 I: Hermite多项式与谱分解理论（严格证明 ✅）
+    │  ├─ Rodrigues定义 + 递推公式证明
+    │  ├─ 生成函数法推导
+    │  └─ L²(γ) Hilbert空间框架 + Parseval恒等式
    │
    ↓
-Topic 2: OU 过程 + Mehler 公式
+专题 II: OU过程与Mehler公式（严格推导 ✅）
+    │  ├─ SDE显式解 + Ornstein-Uhlenbeck公式
+    │  ├─ 平稳分布证明（连续+离散时间）
+    │  └─ Mehler求和公式完整推导 + 转移核等价性验证
    │
    ↓
-Topic 3: 谱分解 → 线性可识别性（定理1）
+专题 III: 谱分解 → 线性可识别性（定理1）
    │                    │
    ↓                    ↓
-Topic 4: 高斯唯一性    Topic 5: 近似界    Topic 6: 最优规划
+专题 IV: 高斯唯一性   专题 V: 近似界    专题 VI: 最优规划
 （定理2）              （定理3）           （定理4）
+
+专题 IV: Sturm-Liouville理论
+    ├─ 转移算子自伴性证明
+    └─ SL方程 → 得分函数分析
+
+专题 V: δ + ε → D+(ε+D)²
+    ├─ 谱间隙分析
+    └─ Procrustes误差界
+
+专题 VI: O(n)-不变性 + 轨迹推前
+    ├─ 代价等价引理证明
+    └─ DMC Reacher实验验证
 ```

 ---

-## 🎯 四大定理速查
+## 🎯 四大定理速查表

-### 定理 1：线性可识别性（正向）
-> 高斯世界 + LeJEPA 最优 → `h(z) = Qz`（正交矩阵）
-
-**核心工具：** Hermite 谱分解 + OU 衰减 + 最优性条件
-
-### 定理 2：高斯唯一性（逆向）
-> 高斯分布是**唯一**使线性可识别性成立的分布
-
-**核心工具：** Sturm-Liouville 特征值理论 + 得分函数分析
-
-### 定理 3：近似可识别性
-> 条件近似满足时，误差 `≤ D + (ε+D)²`，其中 `D = δ/(2ρ(1-ρ))`
-
-**核心工具：** 三角不等式 + Procrustes 分析
-
-### 定理 4：最优潜空间规划
-> 线性可识别性 → O(n)-不变代价函数下的规划完全等价
-
-**核心工具：** 正交不变性 + 轨迹推前
+| 定理 | 标题 | 核心结论 | 核心工具 |
+|------|------|---------|---------|
+| **定理1** | 线性可识别性（正向） | 高斯世界 + LeJEPA最优 → $h(z) = Qz$（正交矩阵） | Hermite谱分解 + OU衰减 + 最优性条件 |
+| **定理2** | 高斯唯一性（逆向） | 高斯分布是**唯一**使线性可识别性成立的分布 | Sturm-Liouville特征值理论 + 得分函数分析 |
+| **定理3** | 近似可识别性 | 条件近似满足时，误差 $\leq D + (\varepsilon+D)^2$ | 三角不等式 + Procrustes分析 |
+| **定理4** | 最优潜空间规划 | O(n)-不变代价函数下的规划完全等价 | 正交不变性 + 轨迹推前论证 |

 ---

 ## 🔑 关键公式速查

 ### LeJEPA 训练目标
-```
-L(h) = λ · L_SIG + (1-λ) · L_align
-
-L_align = E[‖h(z') - h(z)‖²]     # 对齐损失
-L_SIG = SIGReg(h(z), N(0,I))      # 高斯正则化
-```
+$$\mathcal{L}(h) = \lambda \cdot \mathcal{L}_{\text{SIG}} + (1-\lambda) \cdot \mathbb{E}[\|h(z') - h(z)\|^2]$$

 ### OU 过程（正样本对生成）
-```
-z' = ρz + √(1-ρ²) η,   η ~ N(0, I_n),   ρ ∈ (0,1)
-```
+$$z' = \rho z + \sqrt{1-\rho^2}\,\eta, \quad \eta \sim \mathcal{N}(0, I_n),\;\rho \in (0,1)$$

 ### Mehler 公式（核心不等式）
-```
-E[h_i(z') · h_i(z)] = Σ_d w_{i,d} · ρᵈ ≤ ρ
-等号 ⟺ w_{i,1} = 1（纯线性）
-```
+$$\mathbb{E}[h_i(z') \cdot h_i(z)] = \sum_{d=1}^{\infty} w_{i,d}\,\rho^d \leq \rho$$
+等号 $\iff$ $w_{i,1} = 1$（纯线性）

 ### 近似界
-```
-E[‖h(z) - Qz‖²] ≤ D + (ε + D)²
-D = δ / (2ρ(1-ρ))
-δ = L_align - 2(1-ρ)n（对齐间隙）
-ε = ‖Cov(h(z)) - I‖_F（白化误差）
-```
+$$\mathbb{E}[\|h(z) - Qz\|^2] \leq D + (\varepsilon + D)^2$$
+其中 $D = \delta / (2\rho(1-\rho))$，$\delta = \mathcal{L}_{\text{align}} - 2(1-\rho)n$，$\varepsilon = \|\text{Cov}(h(z)) - I\|_F$

 ---

 ## 🔧 代码对应关系

-| 数学概念 | 代码实现 |
-|---------|---------|
-| 非线性混合 `g`（spiral/banana/sinusoid/coupling） | [`mixing.py`](../lejepa-identifiability/experiments/lejepa_id/mixing.py) |
+| 数学概念 | Python实现位置 |
+|---------|---------------|
+| Hermite展开 + Mehler公式计算相关性 | [`metrics.py:compute_all_metrics()`](../lejepa-identifiability/experiments/lejepa_id/metrics.py) |
+| 非线性混合 $g$（spiral/banana/sinusoid/coupling） | [`mixing.py`](../lejepa-identifiability/experiments/lejepa_id/mixing.py) |
 | SIGReg 正则化（切片特征函数） | [`losses.py:SIGReg`](../lejepa-identifiability/experiments/lejepa_id/losses.py) |
-| 对齐损失 | [`losses.py:alignment_loss`](../lejepa-identifiability/experiments/lejepa_id/losses.py) |
-| OU 增强 | [`data.py:ou_augment`](../lejepa-identifiability/experiments/lejepa_id/data.py) |
-| R²、正交误差、近似界、Procrustes | [`metrics.py:compute_all_metrics`](../lejepa-identifiability/experiments/lejepa_id/metrics.py) |
+| 对齐损失 + OU增强 | [`data.py:ou_augment()`](../lejepa-identifiability/experiments/lejepa_id/data.py) |
 | Reacher 像素渲染 / 数据集 | [`reacher.py`](../lejepa-identifiability/experiments/lejepa_id/reacher.py) |
-| 训练循环（lejepa/whiten/infonce） | [`engine.py:train_and_evaluate`](../lejepa-identifiability/experiments/lejepa_id/engine.py) |
+| 训练循环（ lejepa / whiten / infonce） | [`engine.py:train_and_evaluate()`](../lejepa-identifiability/experiments/lejepa_id/engine.py) |

 ---

-## 🔬 Lean 4 形式化验证对应
+## 🔬 Lean 4 形式化验证状态

-| 定理 | Lean 文件 | 验证状态 |
-|------|----------|---------|
-| 定理1 / Thm 4.1（Hermite 路径） | [`lean/LeJEPA/Hermite.lean`](../lejepa-identifiability/lean/LeJEPA/Hermite.lean) | ✅ 零 sorry |
-| 定理2（高斯唯一性） | [`lean/LeJEPA/Uniqueness.lean`](../lejepa-identifiability/lean/LeJEPA/Uniqueness.lean) | ✅ 零 sorry |
-| 定理3 / Prop 4.3（近似界） | [`lean/LeJEPA/Approx.lean`](../lejepa-identifiability/lean/LeJEPA/Approx.lean) | ✅ 零 sorry |
-| 定理4 / Corollary（规划等价） | [`lean/LeJEPA/Planning.lean`](../lejepa-identifiability/lean/LeJEPA/Planning.lean) | ✅ 零 sorry |
-| 附录E（Dirichlet 路径） | [`lean/LeJEPA/Dirichlet.lean`](../lejepa-identifiability/lean/LeJEPA/Dirichlet.lean) | ✅ 零 sorry |
+| 定理 | Lean文件 | 核心结论（零 `sorry`） |
+|------|---------|---------------------|
+| 定理1 / Thm 4.1 | [`Hermite.lean`](../lejepa-identifiability/lean/LeJEPA/Hermite.lean) | Mehler求和 + 相关性上界 + 最优性条件 |
+| 定理2（高斯唯一） | [`Uniqueness.lean`](../lejepa-identifiability/lean/LeJEPA/Uniqueness.lean) | SL方程 → 高斯充要条件 |
+| 定理3 / Prop 4.3 | [`Approx.lean`](../lejepa-identifiability/lean/LeJEPA/Approx.lean) | 近似界 $D+(\varepsilon+D)^2$ |
+| 定理4 / Corollary | [`Planning.lean`](../lejepa-identifiability/lean/LeJEPA/Planning.lean) | 规划等价性 + DMC Reacher验证 |
+| 附录E（Dirichlet） | [`Dirichlet.lean`](../lejepa-identifiability/lean/LeJEPA/Dirichlet.lean) | Dirichlet路径补充证明 |

-> 注：Lean 工程使用 Mathlib v4.28.0，零 `sorry`；公理化组件为 Mathlib 尚未提供的标准结论（Hermite 多项式基础设施、Mazur–Ulam、等权 AM–GM 等）。
+> 注：Lean工程基于 Mathlib v4.28.0，所有核心定理零 `sorry`。公理化组件为 Mathlib 尚未提供的标准结论（Hermite多项式基础设施、Mazur–Ulam定理等）。

 ---

 ## 💡 核心洞见（一句话总结）

-> **LeJEPA 将经典 ICA 的叙事完全颠倒：** 在线性 ICA 中，高斯分布是源分离**失败**的唯一情况；在 LeJEPA 的非线性设置中，高斯分布恰恰是使线性可识别性**成立**的唯一分布。
+> **LeJEPA 将经典 ICA 的叙事完全颠倒：**
+> - 在线性 ICA 中，高斯分布是源分离**失败**的唯一情况
+> - 在 LeJEPA 的非线性设置中，高斯分布恰恰是使线性可识别性**成立**的唯一情况

 ---

-## 📖 相关文件
+## 📖 延伸阅读与相关文件

- [论文完整笔记](../lejepa_world_model_notes.md) — 综合分析（含代码实现、官网图示）
- [资源汇总](../lejepa_resources.md) — 视频、论文、代码、HuggingFace 模型
- [代码仓库](../lejepa-identifiability/) — 本地 clone 的官方实现
+| 资源 | 路径 | 说明 |
+|------|-----|------|
+| [计划文档](../../plans/lejepa_math_lecture_plan.md) | `../plans/lejepa_math_lecture_plan.md` | 六大专题详细设计计划（2026-06更新）|
+| [论文完整笔记](../lejepa_world_model_notes.md) | `../lejepa-identifiability/` 上级目录 | 综合分析（含代码实现、官网图示）|
+| [资源汇总](../lejepa_resources.md) | 同上 | 视频、论文、代码、HuggingFace模型链接|
+| [官方实现](../lejepa-identifiability/) | 本地 clone | Python实验 + Lean4形式化验证|
+| [论文PDF](../LeJEPA/2605.26379v1.pdf) | `../LeJEPA/` | 原始论文（arXiv:2605.26379v1）|