Add detailed lecture plan and summary for LeJEPA four theorems
- Introduced a comprehensive lecture plan for the four main theorems in LeJEPA, including knowledge dependency graphs, detailed outlines for each topic, and corresponding Lean 4 files for formal verification. - Created a summary document encapsulating the core insights and mathematical structures of the four theorems, emphasizing their interdependencies and implications in the context of LeJEPA.
This commit is contained in:
@@ -0,0 +1,247 @@
|
||||
# LeJEPA 研究全面分析
|
||||
|
||||
> **项目位置:** [`/Users/mac/code/worldmodel/JEPA/`](../JEPA/)
|
||||
> **分析日期:** 2026-06-05
|
||||
|
||||
---
|
||||
|
||||
## 📌 一、LeJEPA 是什么?
|
||||
|
||||
**LeJEPA** = **L**ean **E**fficient **JEA**PA(Yann LeCun 团队的自监督学习框架)
|
||||
|
||||
### 核心组成
|
||||
```
|
||||
LeJEPA = JEPA (Joint-Embedding Predictive Architecture) + SIGReg
|
||||
```
|
||||
|
||||
| 组件 | 作用 |
|
||||
|------|------|
|
||||
| **JEPA** | 在表示空间做预测,避免像素级生成的容量浪费 |
|
||||
| **SIGReg** | Sketched Isotropic Gaussian Regularization(切片各向同性高斯正则化)|
|
||||
| **对齐损失** | 拉近正样本对的嵌入表示 |
|
||||
|
||||
### SIGReg 的核心设计
|
||||
```python
|
||||
# 特征函数方法(而非矩匹配)
|
||||
L_SIG = E[|φ_h(t) - φ_N(0,I)(t)|²] # 特征函数差异
|
||||
```
|
||||
|
||||
- 用**特征函数(Fourier变换)**的实部/虚部偏差度量分布差异
|
||||
- 随机切片将高维问题降为一维投影,线性时间复杂度
|
||||
- `knots=17` 个积分节点 + `n_slices=256` 个随机方向
|
||||
|
||||
---
|
||||
|
||||
## 📐 二、四大定理——理论核心贡献
|
||||
|
||||
### 数学框架:世界的三条假设
|
||||
| 假设 | 数学表述 | 直觉 |
|
||||
|------|---------|------|
|
||||
| **独立性** | p(zᵢ) ⊥ p(zⱼ),转移也独立 | 世界的各自由度互不干扰 |
|
||||
| **平稳性** | p(z) = p(z') | 两个视图来自同一生成过程 |
|
||||
| **加性噪声** | z'ᵢ = mᵢ(zᵢ) + ηᵢ | 扰动是叠加在信号上的噪声 |
|
||||
|
||||
### 高斯世界(Gaussian World)
|
||||
```
|
||||
z' = ρz + √(1-ρ²)η, η ~ N(0, Iₙ), ρ ∈ (0,1)
|
||||
```
|
||||
|
||||
### 定理总览图
|
||||
```
|
||||
┌─────────────────────────────────────────────────────┐
|
||||
│ 四大定理闭环 │
|
||||
├─────────────────────────────────────────────────────┤
|
||||
│ │
|
||||
│ 定理1(正向):高斯世界 + LeJEPA → h(z) = Qz │
|
||||
│ ↕ │
|
||||
│ 定理2(逆向):高斯是唯一使可识别性成立的分布 │
|
||||
│ ↓ │
|
||||
│ 定理3(近似):条件近似满足时,误差有界 │
|
||||
│ ↓ │
|
||||
│ 定理4(应用):线性可识别 → 潜空间规划 = 真实世界 │
|
||||
│ │
|
||||
└─────────────────────────────────────────────────────┘
|
||||
```
|
||||
|
||||
### 定理1:线性可识别性(正向)
|
||||
> **在高斯世界中,满足 LeJEPA 目标的最优表示 h 当且仅当 h(z) = Qz,Q ∈ O(n)**
|
||||
|
||||
**证明链条(6步):**
|
||||
```
|
||||
高斯约束 + 最优对齐
|
||||
↓
|
||||
[步骤1] Hermite展开:hᵢ(z) = Σ cₐ Heₐ(z)
|
||||
↓
|
||||
[步骤2] Mehler公式:corrᵢ = Σ wₐ ρᵈ
|
||||
↓
|
||||
[步骤3] 关键不等式:corrᵢ ≤ ρ(等号 ⟺ w₁=1)
|
||||
↓
|
||||
[步骤4] 最优性条件:L_align = 2(1-ρ)n → 每个 corrᵢ = ρ
|
||||
↓
|
||||
[步骤5] 线性性:每个 hᵢ 是线性函数
|
||||
↓
|
||||
[步骤6] 正交性:高斯约束 + 线性 → Q ∈ O(n)
|
||||
```
|
||||
|
||||
**核心直觉:** OU过程对高阶非线性成分衰减更快(ρᵈ 随 d 指数衰减),所以线性映射是唯一最优解。
|
||||
|
||||
### 定理2:高斯分布的唯一性(逆向)
|
||||
> **在满足世界假设的所有分布中,高斯分布是唯一使 LeJEPA 实现线性可识别性的分布**
|
||||
|
||||
**与 ICA 的完全反转:**
|
||||
| 场景 | 高斯分布 | 非高斯分布 |
|
||||
|------|---------|-----------|
|
||||
| **线性 ICA** | ❌ 失败(旋转不可区分) | ✅ 成功 |
|
||||
| **LeJEPA** | ✅ 成功 | ❌ 失败 |
|
||||
|
||||
### 定理3:近似可识别性
|
||||
> **当条件只近似满足时,恢复误差优雅降级:**
|
||||
|
||||
```
|
||||
E[‖h(z) - Qz‖²] ≤ D + (ε + D)²
|
||||
```
|
||||
|
||||
| 参数 | 定义 | 含义 |
|
||||
|------|------|------|
|
||||
| δ(对齐间隙) | L_align(h) - 2(1-ρ)n ≥ 0 | 正样本对有多"不相似" |
|
||||
| ε(白化误差) | ‖Cov(h(z)) - Iₙ‖_F | 嵌入分布有多"不高斯" |
|
||||
|
||||
**关键发现:**
|
||||
- **对齐质量 δ 是主要瓶颈**(通过 D 线性传播)
|
||||
- **白化误差 ε 影响是二阶的**(在平方项中)
|
||||
|
||||
### 定理4:最优潜空间规划
|
||||
> **若 h(z) = Qz,则在任意 O(n)-不变代价函数下,潜空间规划与真实世界规划完全等价**
|
||||
|
||||
```
|
||||
V̂*(h(z₀)) = V*(z₀) 且 â*_{1:T}(h(z₀)) = a*_{1:T}(z₀)
|
||||
```
|
||||
|
||||
**覆盖的控制问题:** 欧氏距离到目标、LQR(P=cI)、范数惩罚、目标到达
|
||||
|
||||
---
|
||||
|
||||
## 🔬 三、实验验证体系
|
||||
|
||||
### 四类实验对应四大定理
|
||||
| 实验 | 验证目标 | 关键结果 |
|
||||
|------|---------|---------|
|
||||
| **实验1:正向可识别性** | 定理1 | SIGReg R² > 0.999(N=2→1024) |
|
||||
| **实验2:逆向验证** | 定理2 | R²在α=2(高斯)处尖锐峰值 |
|
||||
| **实验3:近似界验证** | 定理3 | 实际误差均低于理论界 |
|
||||
| **实验4:潜空间规划** | 定理4 | OU编码器与oracle无差异 |
|
||||
|
||||
### 三种正则化方法对比
|
||||
| N | SIGReg R²(h→z) | VICReg R²(h→z) | InfoNCE R²(h→z) |
|
||||
|---|----------------|----------------|-----------------|
|
||||
| 2 | **0.999998** | 0.999996 | 0.951 |
|
||||
| 256 | **0.999884** | 0.999889 | 0.697 |
|
||||
| 1024 | **0.999561** | 0.999582 | 0.720 |
|
||||
|
||||
> SIGReg和VICReg在所有维度保持 R² > 0.999;InfoNCE在高维退化
|
||||
|
||||
---
|
||||
|
||||
## 🔧 四、代码仓库结构
|
||||
|
||||
```
|
||||
lejepa-identifiability/
|
||||
├── lean/ # Lean4 形式化证明(零sorry)
|
||||
│ └── LeJEPA/
|
||||
│ ├── Hermite.lean # 定理1(Hermite多项式路径)
|
||||
│ ├── Uniqueness.lean # 定理2(高斯唯一性,Sturm-Liouville)
|
||||
│ ├── Approx.lean # 定理3(近似可识别性界)
|
||||
│ ├── Dirichlet.lean # 附录E(Dirichlet能量替代证明)
|
||||
│ └── Planning.lean # 定理4(规划等价)
|
||||
├── experiments/
|
||||
│ ├── lejepa_id/ # 核心实验代码
|
||||
│ │ ├── mixing.py # 非线性混合(spiral/banana/sinusoid/coupling)
|
||||
│ │ ├── losses.py # SIGReg、白化损失、对齐损失、InfoNCE
|
||||
│ │ ├── models.py # MLP/CNN编码器、MatchedEncoder
|
||||
│ │ ├── data.py # 潜变量采样、OU增强
|
||||
│ │ ├── metrics.py # R²、正交误差、近似界量化、Procrustes
|
||||
│ │ ├── reacher.py # DMC Reacher渲染与数据集
|
||||
│ │ └── engine.py # 训练循环(warmup + cosine LR)
|
||||
│ ├── run.py # 2D/scaling/gennorm/grid统一入口
|
||||
│ └── configs/ # 实验超参数YAML
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 📊 五、与相关工作的关系
|
||||
|
||||
### LeJEPA vs SFA(慢特征分析)
|
||||
| 维度 | Sprekeler et al. (2014) SFA | LeJEPA(本文)|
|
||||
|------|---------------------------|------------|
|
||||
| 可识别性类 | 置换等价 | **正交等价** |
|
||||
| 潜变量分布 | 任意独立 | **高斯(或i.i.d.)** |
|
||||
| 转移结构 | 需要不同速率 | **需要各向同性** |
|
||||
| 提取方式 | 顺序(贪心) | **同时** |
|
||||
| 函数空间 | 固定多项式核 | **学习(神经网络)** |
|
||||
| 近似界 | ❌ 无 | ✅ D+(ε+D)² |
|
||||
| 实用算法 | xSFA(脆弱,≤6个潜变量) | **LeJEPA/SIGReg(可扩展)** |
|
||||
|
||||
### LeJEPA 生态系统
|
||||
```
|
||||
LeJEPA 生态
|
||||
├── 理论基础
|
||||
│ ├── arXiv:2511.08544 (LeJEPA原始论文)
|
||||
│ └── arXiv:2605.26379 (可识别性理论,本文)
|
||||
├── 应用扩展
|
||||
│ ├── arXiv:2603.19312 (LeWorldModel,像素控制)
|
||||
│ └── arXiv:2602.11389 (Causal-JEPA,因果干预)
|
||||
├── 代码
|
||||
│ ├── github.com/rbalestr-lab/lejepa (LeJEPA训练)
|
||||
│ └── github.com/klindtlab/lejepa-identifiability (可识别性实验)
|
||||
└── 演示
|
||||
├── YouTube: youtu.be/EioGDo67ZDs (官方视频)
|
||||
└── Colab: 交互式2D演示 (~30秒,T4 GPU)
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 💡 六、核心洞见与启示
|
||||
|
||||
### 一句话总结
|
||||
> **LeJEPA将经典ICA的叙事完全颠倒:** 在线性ICA中,高斯分布是源分离**失败**的唯一情况;在LeJEPA的非线性设置中,高斯分布恰恰是使线性可识别性**成立**的唯一分布。
|
||||
|
||||
### 对 WorldModel/PRISM 项目的启示
|
||||
1. **探索策略的重要性:** 近似各向同性随机游走的探索策略能保持数据在理论覆盖范围内
|
||||
2. **SIGReg优于VICReg:** 对非高斯潜变量更鲁棒,适合真实场景
|
||||
3. **对齐质量是关键瓶颈:** 训练中应优先减小对齐损失
|
||||
4. **线性可识别性 → 规划等价:** 为PRISM空间记忆架构中的潜空间规划提供理论保障
|
||||
|
||||
---
|
||||
|
||||
## ⚠️ 七、局限性与未来方向
|
||||
|
||||
| 局限 | 说明 |
|
||||
|------|------|
|
||||
| **潜变量是否真的高斯?** | 中心极限定理支持宏观量趋向高斯,但无法从观测中验证 |
|
||||
| **维度不匹配(m≠n)** | 编码器维度与真实潜变量维度不同时的行为未理论化 |
|
||||
| **有限样本** | 定理3是总体层面结论,样本复杂度和训练动态未涉及 |
|
||||
| **动作条件转移** | 本文只处理编码器侧,p̂(ẑ'|ẑ,a)的可识别性是下一步 |
|
||||
|
||||
---
|
||||
|
||||
## 📚 八、项目内相关文件索引
|
||||
|
||||
| 资源类型 | 路径 |
|
||||
|---------|------|
|
||||
| **论文精读** | [`JEPA/LeJEPA/paper_reading.md`](../JEPA/LeJEPA/paper_reading.md) |
|
||||
| **综合笔记** | [`JEPA/README.md`](../JEPA/README.md) |
|
||||
| **数学证明分解** | [`JEPA/math/`](../math/) — 6个topic拆解四大定理 |
|
||||
| **代码仓库** | [`JEPA/lejepa-identifiability/`](../lejepa-identifiability/) |
|
||||
| **Lean4证明** | [`JEPA/lejepa-identifiability/lean/`](../lejepa-identifiability/lean/) |
|
||||
| **论文PDF** | [`research/papers/2605.26379v1.pdf`](../research/papers/2605.26379v1.pdf) |
|
||||
|
||||
---
|
||||
|
||||
## 🎯 九、下一步研究建议
|
||||
|
||||
基于以上分析,以下是可能的后续研究方向:
|
||||
|
||||
1. **扩展动作条件转移的可识别性理论**(定理4的下一步)
|
||||
2. **探索非高斯分布下的近似可识别性界**(定理3的推广)
|
||||
3. **将LeJEPA框架应用于PRISM空间记忆架构**(定理4的实际应用)
|
||||
4. **研究有限样本下的收敛速率和泛化界**(理论完善)
|
||||
@@ -0,0 +1,322 @@
|
||||
# LeJEPA 数学定理专题讲解计划
|
||||
|
||||
## 📋 任务概述
|
||||
|
||||
对 LeJEPA(*When Does LeJEPA Learn a World Model?*)论文中的四大数学定理进行**分专题的系统性讲解与严格推理证明**。
|
||||
|
||||
---
|
||||
|
||||
## 🗺️ 知识依赖图
|
||||
|
||||
```
|
||||
专题1: Hermite多项式与谱分解理论
|
||||
│
|
||||
├──→ 预备知识: L²空间, 正交基, 高斯测度
|
||||
│
|
||||
↓
|
||||
专题2: OU过程与Mehler公式的严格推导
|
||||
│
|
||||
├──→ 预备知识: 随机过程, 条件期望, 转移核
|
||||
│
|
||||
↓
|
||||
专题3: 定理1 — 线性可识别性(完整证明)
|
||||
│
|
||||
├──→ 组合专题1+2的工具 + Procrustes分析
|
||||
│
|
||||
↓ ↘
|
||||
专题4: 定理2 — 高斯唯一性 专题5: 定理3 — 近似可识别界
|
||||
│ (组合专题1+2 + 三角不等式)
|
||||
↓
|
||||
专题6: 定理4 — 最优潜空间规划
|
||||
│
|
||||
└──→ O(n)-不变性 + 轨迹推前论证
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 📚 六大专题详细设计
|
||||
|
||||
### 专题 I:Hermite多项式与谱分解理论(定理1的基础)
|
||||
|
||||
**目标:** 建立高斯测度下函数展开的完整数学框架
|
||||
|
||||
**内容大纲:**
|
||||
1. **Hermite多项式的严格定义**
|
||||
- 显式公式:`Heₙ(x) = (-1)ⁿ eˣ²/² (dⁿ/dxⁿ)e^{-x²/2}`
|
||||
- 递推关系证明:`He_{n+1}(x) = x·Heₙ(x) - n·He_{n-1}(x)`
|
||||
- 前6个多项式的显式计算
|
||||
|
||||
2. **正交性的严格证明**
|
||||
- 在概率测度 `γ = N(0,1)` 下的内积定义:`⟨f,g⟩_γ = E[f(z)g(z)]`
|
||||
- 证明:`⟨Heₘ, Heₙ⟩_γ = δ_{mn} · n!`
|
||||
- 多变量推广:`He_α(z) = ∏ᵢ He_{αᵢ}(zᵢ)`,`⟨He_α, He_β⟩ = δ_{αβ} · α!`
|
||||
|
||||
3. **完备性定理**
|
||||
- `L²(γ)` 是 Hilbert 空间
|
||||
- Hermite多项式构成完备正交基
|
||||
- Parseval 恒等式:`‖f‖² = Σ_α |⟨f, Heₐ⟩|² / α!`
|
||||
|
||||
4. **谱权重与方差分解**
|
||||
- 定义:`w_{f,d} = Σ_{|α|=d} cₐ² · α! / ‖f‖²`
|
||||
- 证明:`Σ_d w_{f,d} = 1`,`w_{f,0} = 0`(零均值时)
|
||||
- 谱权重作为"非线性程度"的度量
|
||||
|
||||
**Lean 4 对应:** [`Hermite.lean`](JEPA/lejepa-identifiability/lean/LeJEPA/Hermite.lean)
|
||||
|
||||
---
|
||||
|
||||
### 专题 II:Ornstein-Uhlenbeck过程与Mehler公式(定理1的基础)
|
||||
|
||||
**目标:** 严格推导OU过程的谱性质和Mehler求和公式
|
||||
|
||||
**内容大纲:**
|
||||
1. **OU过程的严格定义与性质**
|
||||
- 连续时间 SDE:`dz_t = -θz_t dt + σdW_t`
|
||||
- 平稳分布:证明 `z_t ~ N(0, σ²/(2θ))` 是平稳分布
|
||||
- 离散时间版本:`z' = ρz + √(1-ρ²)η`
|
||||
- 平稳性证明:若 `z ~ N(0,I)`,则 `z' ~ N(0,I)`
|
||||
|
||||
2. **转移核的显式形式**
|
||||
- 条件分布:`z'|z ~ N(ρz, (1-ρ²)I)`
|
||||
- 转移密度:`p(z'|z) = φ((z'-ρz)/√(1-ρ²)) / (1-ρ²)^{n/2}`
|
||||
- 其中 `φ` 是标准高斯密度
|
||||
|
||||
3. **Mehler公式的严格推导**
|
||||
- 生成函数法:`Σ_{n=0}^{∞} (tⁿ/n!) Heₙ(x) = e^{xt - t²/2}`
|
||||
- 核心恒等式:`Σ_{n=0}^{∞} (ρⁿ/n!) Heₙ(x)Heₙ(y) = exp((xyρ - ρ²x²/2 - ρ²y²/2)/(1-ρ²)) / √(1-ρ²)`
|
||||
- Mehler公式:`p(z'|z) = φ(z') · Σ_{α} ρ^{|α|} He_α(z)He_α(z') / α!`
|
||||
|
||||
4. **相关性公式与谱衰减**
|
||||
- 定理:对任意 `f,g ∈ L²(γ)`,`E[f(z)g(z')] = Σ_α ρ^{|α|} ⟨f,Heₐ⟩⟨g,Heₐ⟩/α!`
|
||||
- 推论:对编码器分量 `h_i`,`corr_i = Σ_{d=1}^{∞} w_{i,d} · ρᵈ`
|
||||
- 关键不等式:`corr_i ≤ Σ w_{i,d} · ρ = ρ`,等号 ⟺ `w_{i,1}=1`
|
||||
|
||||
**Lean 4 对应:** [`Hermite.lean`](JEPA/lejepa-identifiability/lean/LeJEPA/Hermite.lean) 中的 `mehler_summability`
|
||||
|
||||
---
|
||||
|
||||
### 专题 III:定理1 — 线性可识别性(完整证明)
|
||||
|
||||
**目标:** 组合前两个专题的工具,完成定理1的严格证明
|
||||
|
||||
**内容大纲:**
|
||||
1. **定理陈述与假设梳理**
|
||||
- 世界模型:`z ~ N(0, Iₙ)`,正样本对由OU过程生成
|
||||
- 编码器约束:`h: ℝⁿ → ℝⁿ`,`h(z) ~ N(0, Iₙ)`
|
||||
- 优化目标:最小化 `L_align(h) = E[‖h(z')-h(z)‖²]`
|
||||
- 结论:最优 `h` 满足 `h(z) = Qz`,`Q ∈ O(n)`
|
||||
|
||||
2. **证明步骤1-3:Hermite展开与相关性上界**
|
||||
- 对每个分量 `h_i`,Hermite展开:`h_i(z) = Σ_α c_{i,α} Heₐ(z)`
|
||||
- 高斯约束的谱含义:`Σ_{|α|≥1} c_{i,α}² · α! = 1`
|
||||
- Mehler公式:`corr_i = Σ_{d=1}^{∞} w_{i,d} · ρᵈ`
|
||||
- 不等式:`corr_i ≤ ρ`,等号 ⟺ `w_{i,1} = 1`
|
||||
|
||||
3. **证明步骤4:最优性条件**
|
||||
- `L_align = 2n - 2Σᵢ corr_i ≥ 2(1-ρ)n`
|
||||
- 最优值 `L_align* = 2(1-ρ)n` ⟺ 每个 `corr_i = ρ`
|
||||
- 等号条件:每个 `h_i` 只有 d=1 的 Hermite 成分
|
||||
|
||||
4. **证明步骤5-6:线性性与正交性**
|
||||
- 线性性:`h_i(z) = Σⱼ a_{ij} z_j`,即 `h(z) = Az`
|
||||
- 高斯约束:若 `z ~ N(0,I)`,则 `Az ~ N(0, AA^T)`
|
||||
- 正交性:`AA^T = Iₙ ⟺ A ∈ O(n)`
|
||||
- 结论:`h(z) = Qz`,`Q ∈ O(n)`
|
||||
|
||||
5. **唯一性讨论**
|
||||
- 正交等价类:`h(z) = Qz`,`Q ∈ O(n)` 都是最优解
|
||||
- 为什么不能进一步识别(需要额外约束)
|
||||
|
||||
**Lean 4 对应:** [`Hermite.lean`](JEPA/lejepa-identifiability/lean/LeJEPA/Hermite.lean) 中的 `hermite_identifiability`
|
||||
|
||||
---
|
||||
|
||||
### 专题 IV:定理2 — 高斯唯一性(Sturm-Liouville方法)
|
||||
|
||||
**目标:** 证明高斯分布是唯一使线性可识别性成立的分布
|
||||
|
||||
**内容大纲:**
|
||||
1. **定理陈述与背景**
|
||||
- 世界假设:独立性、平稳性、加性噪声 `z' = m(z) + η`
|
||||
- 结论:高斯是**唯一**使线性可识别性成立的分布
|
||||
|
||||
2. **转移算子与Sturm-Liouville理论**
|
||||
- 条件期望作为转移算子:`T[f](z) = E[f(z')|z]`
|
||||
- 在 `L²(p)` 中的自伴性证明
|
||||
- Sturm-Liouville方程的推导:`T[φ] = λ·φ ⟺ -(Kpφ')' = -λ₁ p φ`
|
||||
- 显式形式:`K·score(z)·φ(z) + K·φ'(z) = -λ₁·φ(z)`
|
||||
|
||||
3. **从仿射特征函数到高斯分布**
|
||||
- 假设:`φ₁(z) = az + b`(仿射)
|
||||
- 代入SL方程:`K·score(z)·a = -λ₁(az+b)`
|
||||
- 解得分函数:`score(z) = -(λ₁/K)·z - (λ₁b)/(Ka)`
|
||||
- 积分:`log p(z) = -(λ₁/2K)·z² + ...`
|
||||
- 结论:`p(z)` 是高斯分布
|
||||
|
||||
4. **反向证明(高斯 → Hermite多项式)**
|
||||
- 对 `p = N(0,1)`,得分函数为 `-z`
|
||||
- SL方程变为:`-φ'(z) + z·φ(z) = -(λ₁/K)·φ(z)`
|
||||
- 验证:`Heₙ(z)` 是特征函数,对应 `λ_{n+1} = n·K`
|
||||
- 第一非常数特征函数:`He₁(z) = z`(仿射)
|
||||
|
||||
5. **双条件定理**
|
||||
```
|
||||
p 是高斯分布 ⟺ φ₁(z) = az+b ⟺ LeJEPA实现线性可识别性
|
||||
```
|
||||
|
||||
6. **与经典ICA的对比分析**
|
||||
- 线性 ICA:高斯是"最难分离"的情况(旋转不变性)
|
||||
- LeJEPA:高斯是"最容易识别"的分布(Mehler公式)
|
||||
- 根本原因:ICA利用高阶统计量,LeJEPA利用时间结构
|
||||
|
||||
**Lean 4 对应:** [`Uniqueness.lean`](JEPA/lejepa-identifiability/lean/LeJEPA/Uniqueness.lean)
|
||||
|
||||
---
|
||||
|
||||
### 专题 V:定理3 — 近似可识别性界
|
||||
|
||||
**目标:** 量化假设只近似满足时的恢复误差上界
|
||||
|
||||
**内容大纲:**
|
||||
1. **定理陈述与动机**
|
||||
- 精确版本(定理1):完美条件下 `h(z) = Qz`
|
||||
- 近似版本:条件只近似满足时,误差有界
|
||||
|
||||
2. **两个误差参数的严格定义**
|
||||
- 对齐间隙:`δ = L_align(h) - 2(1-ρ)n ≥ 0`
|
||||
- 白化误差:`ε = ‖Cov(h(z)) - Iₙ‖_F`
|
||||
- 归一化量:`D = δ / (2ρ(1-ρ))`
|
||||
|
||||
3. **谱间隙的严格分析**
|
||||
- 线性成分与二次成分的差距:`ρ¹ - ρ² = ρ(1-ρ)`
|
||||
- 一般情况:`ρᵈ⁻¹ - ρᵈ = ρ^{d-1}(1-ρ)`
|
||||
- 谱间隙最小值在 `d=2`:`ρ(1-ρ)`
|
||||
|
||||
4. **从δ到D的转换**
|
||||
- `L_align = 2n - 2Σᵢ Σ_d w_{i,d} ρᵈ`
|
||||
- `δ = 2Σᵢ Σ_{d≥2} w_{i,d}(ρ - ρᵈ)`
|
||||
- 下界:`δ ≥ 2Σᵢ Σ_{d≥2} w_{i,d} · ρ(1-ρ)`
|
||||
- 结论:`Σᵢ Σ_{d≥2} w_{i,d} ≤ δ/(2ρ(1-ρ)) = D`
|
||||
|
||||
5. **从D到恢复误差**
|
||||
- 线性近似:取 `A` 为 `h` 的 d=1 成分
|
||||
- `E[‖h(z) - Az‖²] = Σᵢ Σ_{d≥2} w_{i,d} · ‖h‖² ≤ D`
|
||||
|
||||
6. **Procrustes分析:从A到Q**
|
||||
- 定义 `Q = argmin_{O∈O(n)} ‖A - O‖_F`(正交Procrustes问题)
|
||||
- SVD分解:`A = UΣV^T ⟹ Q = UV^T`
|
||||
- 误差界:`‖A-Q‖_F ≤ ε + D`(需要详细推导)
|
||||
|
||||
7. **最终组合**
|
||||
- `E[‖h(z) - Qz‖²] ≤ E[‖h(z)-Az‖²] + ‖A-Q‖_F²`
|
||||
- `≤ D + (ε+D)²`
|
||||
|
||||
8. **数值分析与实验验证**
|
||||
- 不同 `ρ, δ, ε` 水平下的界值计算表
|
||||
|
||||
**Lean 4 对应:** [`Approx.lean`](JEPA/lejepa-identifiability/lean/LeJEPA/Approx.lean)
|
||||
|
||||
---
|
||||
|
||||
### 专题 VI:定理4 — O(n)-不变性与最优规划等价性
|
||||
|
||||
**目标:** 证明线性可识别性足以保证O(n)-不变代价函数下的最优规划等价
|
||||
|
||||
**内容大纲:**
|
||||
1. **定理陈述与背景**
|
||||
- 设 `h(z) = Qz`,`Q ∈ O(n)`(由定理1保证)
|
||||
- 控制问题:有限时域 `T`,状态空间 `ℝⁿ`
|
||||
- 代价函数条件:O(n)-不变性
|
||||
|
||||
2. **O(n)群与不变函数的严格定义**
|
||||
- 正交群 `O(n) = {Q ∈ ℝ^{n×n} : Q^TQ = I}`
|
||||
- O(n)-不变函数:`ℓ(Qz, a) = ℓ(z,a)` 对所有 `Q ∈ O(n)`
|
||||
- 常见例子与反例的详细分析
|
||||
|
||||
3. **代价等价引理**
|
||||
- 证明:`ℓ(Qz, a) = ℓ(z,a)`(由O(n)-不变性)
|
||||
- 对任意轨迹 `z_{0:T}`,`ℓ(Qz_t, a) = ℓ(z_t, a)`
|
||||
|
||||
4. **轨迹推前(Trajectory Pushforward)**
|
||||
- 真实动力学:`p(z'|z, a)`
|
||||
- 潜空间动力学:`p̂(ẑ'|ẑ, a) = p(Q^T ẑ' | Q^T ẑ, a)`
|
||||
- 验证:`p̂(Qz'|Qz, a) = p(z'|z, a)`
|
||||
|
||||
5. **总代价等价**
|
||||
- 对任意动作序列 `a_{1:T}`:
|
||||
```
|
||||
J(a; z₀) = E[Σ_t ℓ(z_t, a_t)]
|
||||
Ĵ(a; Qz₀) = E[Σ_t ℓ(Qz_t, a_t)]
|
||||
```
|
||||
- 由O(n)-不变性:`J(a; z₀) = Ĵ(a; Qz₀)`
|
||||
|
||||
6. **最优性等价**
|
||||
- `V*(z₀) = inf_a J(a; z₀)`
|
||||
- `V̂*(Qz₀) = inf_a Ĵ(a; Qz₀)`
|
||||
- 由于对所有 `a`,`J = Ĵ`:`V*(z₀) = V̂*(Qz₀)`
|
||||
- 最优动作序列相同
|
||||
|
||||
7. **实验验证:DMC Reacher**
|
||||
- OU采样 vs RL轨迹的规划质量对比
|
||||
|
||||
8. **局限性与扩展方向**
|
||||
- 非O(n)-不变代价函数(如坐标依赖)
|
||||
- 动作条件转移的可识别性
|
||||
- 无限时域折扣MDP
|
||||
|
||||
**Lean 4 对应:** [`Planning.lean`](JEPA/lejepa-identifiability/lean/LeJEPA/Planning.lean)
|
||||
|
||||
---
|
||||
|
||||
## 📊 各专题交付物清单
|
||||
|
||||
| 专题 | 数学文件 | Lean验证对应 | 核心定理/公式数 |
|
||||
|------|---------|-------------|----------------|
|
||||
| I | [`01_hermite_polynomials.md`](JEPA/math/01_hermite_polynomials.md) | `Hermite.lean` (零sorry) | 4个定理, 2个恒等式 |
|
||||
| II | [`02_ou_process_mehler.md`](JEPA/math/02_ou_process_mehler.md) | `Hermite.lean` (零sorry) | 3个定理, Mehler公式 |
|
||||
| III | [`03_spectral_identifiability.md`](JEPA/math/03_spectral_identifiability.md) | `Hermite.lean` (零sorry) | 定理1完整证明 |
|
||||
| IV | [`04_sturm_liouville_uniqueness.md`](JEPA/math/04_sturm_liouville_uniqueness.md) | `Uniqueness.lean` (零sorry) | 定理2完整证明 |
|
||||
| V | [`05_approximate_identifiability.md`](JEPA/math/05_approximate_identifiability.md) | `Approx.lean` (零sorry) | 定理3完整证明 |
|
||||
| VI | [`06_planning_equivalence.md`](JEPA/math/06_planning_equivalence.md) | `Planning.lean` (零sorry) | 定理4完整证明 |
|
||||
|
||||
---
|
||||
|
||||
## 🎯 讲解风格与深度控制
|
||||
|
||||
### 每个专题的标准结构
|
||||
1. **问题动机**(白话翻译)
|
||||
2. **严格定义与假设**
|
||||
3. **核心定理陈述**
|
||||
4. **逐步证明推导**(每步标注逻辑依据)
|
||||
5. **几何/物理直觉图示**
|
||||
6. **数值例子与实验验证**
|
||||
7. **Lean 4形式化对应**
|
||||
8. **小结与下一步指引**
|
||||
|
||||
### 数学深度级别标记
|
||||
- ⭐⭐:本科水平(需要线性代数、概率论基础)
|
||||
- ⭐⭐⭐:研究生入门级(需要泛函分析、随机过程基础)
|
||||
|
||||
---
|
||||
|
||||
## 📅 建议执行顺序与依赖关系
|
||||
|
||||
```
|
||||
Phase 1: 基础工具(专题 I + II)
|
||||
↓
|
||||
Phase 2: 核心定理(专题 III → V,可并行 II→III, I→IV)
|
||||
↓
|
||||
Phase 3: 应用定理(专题 VI,依赖 III + V)
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 🔗 与现有资源的对应关系
|
||||
|
||||
| 资源 | 路径 | 用途 |
|
||||
|------|-----|------|
|
||||
| 论文PDF | [`2605.26379v1.pdf`](JEPA/LeJEPA/) | 定理原始来源 |
|
||||
| Lean工程 | [`lejepa-identifiability/lean/`](JEPA/lejepa-identifiability/lean/) | 形式化验证(零sorry) |
|
||||
| Python实验 | [`lejepa-identifiability/experiments/`](JEPA/lejepa-identifiability/experiments/) | 数值验证与可视化 |
|
||||
| 动画工具 | [`lejepa-identifiability/animations/`](JEPA/math/animations/) | 交互式参数演示 |
|
||||
| 论文笔记 | [`lejepa_world_model_notes.md`](JEPA/ achieve/) | 综合分析参考 |
|
||||
Reference in New Issue
Block a user