Add multiple research papers in PDF format to the repository, including recent works on AI and physics, with file sizes ranging from 1.7 MB to 32.3 MB.

2026-06-02 04:12:38 +08:00
parent 36fe037bc1
commit c55f47b287
57 changed files with 278820 additions and 3 deletions
@@ -0,0 +1,237 @@
+# Topic 3：谱分解与线性可识别性（定理 1 完整证明）
+
+> **前置知识：** [Topic 1：Hermite 多项式](01_hermite_polynomials.md)、[Topic 2：OU 过程与 Mehler 公式](02_ou_process_mehler.md)
+> **目标：** 把前两个 topic 的工具组合起来，完整理解定理1的证明逻辑
+
+---
+
+## 🎯 定理 1 的完整陈述
+
+> **定理 1（线性可识别性）：** 在高斯世界中，设编码器 `h : ℝⁿ → ℝⁿ` 满足：
+> 1. **高斯约束**：`h(z) ~ N(0, Iₙ)`（嵌入分布是各向同性高斯）
+> 2. **最优对齐**：`h` 最小化对齐损失 `L_align = E[‖h(z') - h(z)‖²]`
+>
+> 则 `h(z) = Qz`，其中 `Q ∈ O(n)` 是正交矩阵。
+
+**白话翻译：** 如果你强制嵌入是高斯的，并且最大化正样本对的相似度，那么编码器**必然**是线性的（且保持距离）。
+
+---
+
+## 🗺️ 证明路线图
+
+```
+高斯约束 + 最优对齐
+        ↓
+[步骤1] Hermite 展开：h_i(z) = Σ cₐ Heₐ(z)
+        ↓
+[步骤2] Mehler 公式：corr_i = Σ wₐ ρᵈ
+        ↓
+[步骤3] 关键不等式：corr_i ≤ ρ（等号 ⟺ w₁=1）
+        ↓
+[步骤4] 最优性条件：L_align = 2(1-ρ)n → 每个 corr_i = ρ
+        ↓
+[步骤5] 线性性：每个 h_i 是线性函数
+        ↓
+[步骤6] 正交性：高斯约束 + 线性 → Q ∈ O(n)
+```
+
+---
+
+## 📐 步骤 1：Hermite 展开
+
+由 Topic 1，任意满足 `E[h_i(z)²] < ∞` 的函数可以展开：
+
+```
+h_i(z) = Σ_{α} c_{i,α} He_α(z)
+```
+
+其中 `α = (α₁, ..., αₙ)` 是多指标，`|α| = α₁ + ... + αₙ` 是总阶数。
+
+**高斯约束的含义：**
+- `E[h_i(z)] = 0` → `c_{i,0} = 0`（零均值，排除常数项）
+- `E[h_i(z)²] = 1` → `Σ_{|α|≥1} c_{i,α}² |α|! = 1`（单位方差）
+
+定义**谱权重**：
+```
+w_{i,d} = Σ_{|α|=d} c_{i,α}² d! / E[h_i(z)²]
+```
+
+则 `w_{i,d} ≥ 0`，`w_{i,0} = 0`，`Σ_d w_{i,d} = 1`。
+
+---
+
+## 📐 步骤 2：用 Mehler 公式计算相关性
+
+由 Topic 2 的 Mehler 公式：
+
+```
+corr_i := E[h_i(z') · h_i(z)] = Σ_{d=1}^{∞} w_{i,d} · ρᵈ
+```
+
+这是一个**加权平均**：用谱权重 `w_{i,d}` 对 `ρᵈ` 求加权和。
+
+---
+
+## 📐 步骤 3：关键不等式
+
+**引理（已在 Lean 4 中验证）：**
+
+```
+corr_i = Σ_{d=1}^{∞} w_{i,d} · ρᵈ ≤ Σ_{d=1}^{∞} w_{i,d} · ρ = ρ
+```
+
+**等号成立的条件：**
+
+等号成立 ⟺ 对所有 `d ≥ 2`，`w_{i,d} · ρᵈ = w_{i,d} · ρ`
+
+由于 `ρᵈ < ρ`（当 `d ≥ 2, 0 < ρ < 1`），这要求 `w_{i,d} = 0` 对所有 `d ≥ 2`。
+
+又因为 `Σ_d w_{i,d} = 1` 且 `w_{i,0} = 0`，所以 `w_{i,1} = 1`。
+
+**结论：** `corr_i = ρ` ⟺ `h_i` 是纯线性函数（只有 d=1 的 Hermite 成分）。
+
+---
+
+## 📐 步骤 4：最优性条件
+
+对齐损失可以写成：
+
+```
+L_align = E[‖h(z') - h(z)‖²]
+        = Σᵢ E[(h_i(z') - h_i(z))²]
+        = Σᵢ (E[h_i(z')²] + E[h_i(z)²] - 2E[h_i(z')h_i(z)])
+        = Σᵢ (1 + 1 - 2·corr_i)
+        = 2n - 2 Σᵢ corr_i
+```
+
+由步骤3，`corr_i ≤ ρ`，所以：
+
+```
+L_align = 2n - 2 Σᵢ corr_i ≥ 2n - 2nρ = 2(1-ρ)n
+```
+
+**最优值 `L_align = 2(1-ρ)n` 当且仅当每个 `corr_i = ρ`。**
+
+由步骤3的等号条件，这要求每个 `h_i` 都是线性的。
+
+---
+
+## 📐 步骤 5：线性性
+
+每个 `h_i` 只有 d=1 的 Hermite 成分，即：
+
+```
+h_i(z) = Σⱼ aᵢⱼ zⱼ
+```
+
+写成矩阵形式：`h(z) = Az`，其中 `A ∈ ℝⁿˣⁿ`。
+
+---
+
+## 📐 步骤 6：正交性
+
+现在利用**高斯约束** `h(z) ~ N(0, Iₙ)`：
+
+如果 `h(z) = Az` 且 `z ~ N(0, Iₙ)`，则：
+```
+h(z) ~ N(0, AA^T)
+```
+
+要使 `h(z) ~ N(0, Iₙ)`，需要：
+```
+AA^T = Iₙ
+```
+
+这正是 `A ∈ O(n)`（正交矩阵）的定义！
+
+**结论：** `h(z) = Qz`，`Q ∈ O(n)`。 □
+
+---
+
+## 🔍 为什么叫"线性可识别性"？
+
+### 可识别性（Identifiability）的含义
+
+在表示学习中，"可识别性"指：从观测数据 `x = g(z)` 中，能否恢复出真实的潜变量 `z`？
+
+- **完全可识别**：`h(x) = z`（精确恢复）
+- **线性可识别**：`h(x) = Qz`（恢复到正交变换等价）
+- **置换可识别**：`h(x) = Pz`（恢复到置换等价，ICA 的结果）
+- **不可识别**：无法从 `h(x)` 恢复 `z` 的任何信息
+
+### 为什么"正交等价"已经足够？
+
+正交变换保持：
+- **距离**：`‖Qz₁ - Qz₂‖ = ‖z₁ - z₂‖`
+- **内积**：`⟨Qz₁, Qz₂⟩ = ⟨z₁, z₂⟩`
+- **范数**：`‖Qz‖ = ‖z‖`
+
+对于**旋转不变的代价函数**（如欧氏距离、LQR），在 `Qz` 空间中规划与在 `z` 空间中规划完全等价（见 Topic 6）。
+
+---
+
+## 🎨 几何直觉
+
+```
+真实潜空间 z:          学到的表示 h(z) = Qz:
+
+    z₂                      h₂
+    ↑                        ↑
+    │  ●  ●                  │    ●  ●
+    │●    ●                  │  ●    ●
+    │  ●●                    │    ●●
+    └──────→ z₁              └──────→ h₁
+
+两个空间的点云形状完全相同，只是旋转了角度 θ。
+所有距离、角度关系都被保留。
+```
+
+---
+
+## ⚠️ 证明的假设条件
+
+定理1成立需要以下条件：
+
+| 假设 | 含义 | 如果违反？ |
+|------|------|-----------|
+| 潜变量是高斯的 | `z ~ N(0, I_n)` | 定理2说明：非高斯时线性可识别性失败 |
+| OU 转移 | `z' = ρz + √(1-ρ²)η` | 其他转移可能不满足 Mehler 公式 |
+| 高斯约束 | `h(z) ~ N(0, I_n)` | 没有约束则编码器可能坍塌 |
+| 最优对齐 | `h` 达到全局最优 | 局部最优可能不是线性的 |
+
+---
+
+## 🔧 Lean 4 验证状态
+
+在 [`Hermite.lean`](../lejepa-identifiability/lean/LeJEPA/Hermite.lean) 中：
+
+| 步骤 | 对应定理 | 状态 |
+|------|---------|------|
+| 步骤3（不等式） | `correlation_le_rho` | ✅ 机器验证 |
+| 步骤3（等号条件） | `equality_forces_degree_one` | ✅ 机器验证 |
+| 步骤4（损失下界） | `loss_lower_bound` | ✅ 机器验证 |
+| 步骤4（最优性） | `hermite_identifiability`（主定理） | ✅ 机器验证 |
+| 步骤1（Hermite 基） | `mehler_summability` | 公理化（Mathlib 尚未收录） |
+| 步骤5（线性性） | `linear_of_degree_one` | 公理化 |
+| 步骤6（正交性） | `orthogonal_of_gaussian_linear` | 公理化 |
+
+---
+
+## ✅ 小结
+
+定理1的证明是一个**优化论证**：
+
+1. 把编码器用 Hermite 多项式展开（谱分解）
+2. 用 Mehler 公式计算正样本对的相关性
+3. 证明相关性 ≤ ρ，等号 ⟺ 纯线性
+4. 最优对齐要求每个分量都达到等号
+5. 因此编码器必须是线性的
+6. 高斯约束进一步要求线性映射是正交的
+
+**核心洞见：** OU 过程对高阶非线性成分的"惩罚"（衰减）比线性成分更强，所以最优编码器会"放弃"所有非线性成分。
+
+---
+
+## ➡️ 下一步
+
+→ [Topic 4：Sturm-Liouville 理论与高斯唯一性](04_sturm_liouville_uniqueness.md)——为什么只有高斯分布才能保证线性可识别性？