gaojie
258 lines
7.6 KiB
Markdown
258 lines
7.6 KiB
Markdown
# Topic 4：Sturm-Liouville 理论与高斯唯一性（定理 2）
|
||
|
||
> **前置知识：** [Topic 3：谱分解与线性可识别性](03_spectral_identifiability.md)、基础微积分（微分方程）
|
||
> **目标：** 理解为什么高斯分布是**唯一**能保证线性可识别性的分布
|
||
|
||
---
|
||
|
||
## 🎯 定理 2 的完整陈述
|
||
|
||
> **定理 2（高斯唯一性）：** 在满足世界假设（独立性、平稳性、加性噪声）的所有分布中，**高斯分布是唯一**使 LeJEPA 实现线性可识别性的分布。
|
||
|
||
**白话翻译：** 定理1的结论（线性可识别性）不是对所有分布都成立的——它只对高斯分布成立。换句话说，高斯分布是"恰好合适"的分布。
|
||
|
||
---
|
||
|
||
## 🤔 为什么这个结论令人惊讶？
|
||
|
||
### 与经典 ICA 的对比
|
||
|
||
在**线性 ICA**（独立成分分析）中，结论恰好相反：
|
||
|
||
| 场景 | 高斯分布 | 非高斯分布 |
|
||
|------|---------|-----------|
|
||
| 线性 ICA | ❌ **失败**（无法分离） | ✅ 成功 |
|
||
| LeJEPA（非线性） | ✅ **成功** | ❌ 失败 |
|
||
|
||
**LeJEPA 完全颠倒了 ICA 的结论！**
|
||
|
||
### 直觉解释
|
||
|
||
- **线性 ICA 失败的原因**：高斯分布的旋转不变性使得无法区分不同的旋转方向
|
||
- **LeJEPA 成功的原因**：正是这种旋转不变性，使得 OU 过程的谱分解（Hermite 多项式）恰好给出线性最优解
|
||
|
||
---
|
||
|
||
## 🔑 证明的核心工具：Sturm-Liouville 理论
|
||
|
||
### 什么是 Sturm-Liouville 问题？
|
||
|
||
Sturm-Liouville 问题是一类特殊的微分方程特征值问题：
|
||
|
||
```
|
||
-(p(z) φ'(z))' + q(z) φ(z) = λ w(z) φ(z)
|
||
```
|
||
|
||
其中 `φ` 是特征函数，`λ` 是特征值。
|
||
|
||
**在 LeJEPA 的语境中：** 转移算子 `T[f](z) = E[f(z')|z]` 的特征函数满足 Sturm-Liouville 方程。
|
||
|
||
### 关键联系
|
||
|
||
对于加性噪声转移 `z' = m(z) + η`，转移算子的特征方程为：
|
||
|
||
```
|
||
K · (log p(z))' · φ(z) + K · φ'(z) = -λ₁ · φ(z)
|
||
```
|
||
|
||
其中：
|
||
- `K`：扩散系数（与噪声方差有关）
|
||
- `(log p(z))'`：**得分函数**（score function）
|
||
- `λ₁`：第一非常数特征值
|
||
|
||
---
|
||
|
||
## 📐 证明路线：从仿射特征函数到高斯分布
|
||
|
||
### 关键问题
|
||
|
||
定理1的证明依赖于"第一特征函数是线性的"（即 `φ₁(z) = z`）。
|
||
|
||
定理2要问：**什么分布 `p` 使得第一特征函数是仿射的（`φ₁(z) = az + b`）？**
|
||
|
||
### 步骤 1：仿射特征函数 → 仿射得分函数
|
||
|
||
设第一特征函数是仿射的：`φ₁(z) = az + b`（`a ≠ 0`）。
|
||
|
||
代入特征方程：
|
||
```
|
||
K · score(z) · a = -λ₁ · (az + b)
|
||
```
|
||
|
||
解出得分函数：
|
||
```
|
||
score(z) = (log p(z))' = -(λ₁/K) · z - (λ₁ b)/(Ka)
|
||
= α · z + β
|
||
```
|
||
|
||
其中 `α = -λ₁/K < 0`（因为 `λ₁ > 0, K > 0`）。
|
||
|
||
**结论：** 仿射特征函数 → 得分函数是线性的（斜率为负）。
|
||
|
||
### 步骤 2：仿射得分函数 → 高斯分布
|
||
|
||
得分函数 `(log p(z))' = αz + β`，积分得：
|
||
|
||
```
|
||
log p(z) = (α/2) z² + βz + C
|
||
```
|
||
|
||
由于 `α < 0`，这是一个**向下开口的抛物线**，对应：
|
||
|
||
```
|
||
p(z) ∝ exp((α/2) z² + βz) = exp(-(z-μ)²/(2σ²))
|
||
```
|
||
|
||
这正是**高斯分布** `N(μ, σ²)`！
|
||
|
||
### 步骤 3：反向（高斯 → 仿射特征函数）
|
||
|
||
反过来，如果 `p` 是高斯分布，则其 Sturm-Liouville 特征函数是 Hermite 多项式，第一个非常数特征函数是 `He₁(z) = z`（仿射的）。
|
||
|
||
---
|
||
|
||
## 🔄 完整的双条件定理
|
||
|
||
```
|
||
p 是高斯分布
|
||
⟺
|
||
第一特征函数是仿射的
|
||
⟺
|
||
LeJEPA 实现线性可识别性
|
||
```
|
||
|
||
**Lean 4 验证（[`Uniqueness.lean`](../lejepa-identifiability/lean/LeJEPA/Uniqueness.lean)）：**
|
||
|
||
```lean
|
||
theorem gaussian_uniqueness (lc : LatentComponent) :
|
||
-- if 方向：高斯 → 仿射特征函数
|
||
(IsGaussianScore lc.score →
|
||
∃ (a b : ℝ), a ≠ 0 ∧ ∀ z, K·score(z)·a = -(ev·(az+b)))
|
||
∧
|
||
-- only-if 方向：仿射特征函数 → 高斯
|
||
(∀ (a b : ℝ), a ≠ 0 →
|
||
(∀ z, K·score(z)·a = -(ev·(az+b))) →
|
||
IsGaussianScore lc.score)
|
||
```
|
||
|
||
---
|
||
|
||
## 🎨 直觉图示：为什么非高斯分布失败？
|
||
|
||
### 拉普拉斯分布（α=1）
|
||
|
||
```
|
||
p(z) ∝ exp(-|z|)
|
||
|
||
得分函数：(log p)' = -sign(z) （在 z≠0 处）
|
||
|
||
这是一个阶跃函数，不是线性的！
|
||
→ 第一特征函数不是仿射的
|
||
→ 线性可识别性失败
|
||
```
|
||
|
||
### 均匀分布（α→∞）
|
||
|
||
```
|
||
p(z) = 1/(2a) 在 [-a, a] 上
|
||
|
||
得分函数：(log p)' = 0 （在内部）
|
||
|
||
这是常数，不是线性的！
|
||
→ 第一特征函数不是仿射的
|
||
→ 线性可识别性失败
|
||
```
|
||
|
||
### 高斯分布（α=2）
|
||
|
||
```
|
||
p(z) ∝ exp(-z²/2)
|
||
|
||
得分函数：(log p)' = -z （线性！）
|
||
|
||
→ 第一特征函数是 He₁(z) = z（仿射）
|
||
→ 线性可识别性成立 ✓
|
||
```
|
||
|
||
---
|
||
|
||
## 📊 实验验证（广义正态分布族）
|
||
|
||
论文用**广义正态分布**（Generalized Normal）扫描形状参数 `α`：
|
||
|
||
```
|
||
p(z; α) ∝ exp(-|z/β|^α)
|
||
```
|
||
|
||
- `α = 1`：拉普拉斯分布
|
||
- `α = 2`：高斯分布（唯一成功的！）
|
||
- `α → ∞`：均匀分布
|
||
|
||
实验结果（[`gennorm.yaml`](../lejepa-identifiability/experiments/configs/gennorm.yaml) 配置）：
|
||
|
||
```
|
||
R²(h→z) 随 α 的变化：
|
||
|
||
α=0.5 ████░░░░░░░░░░░░░░░░ ~0.5（重尾，失败）
|
||
α=1.0 ██████░░░░░░░░░░░░░░ ~0.6（拉普拉斯，失败）
|
||
α=1.5 ████████░░░░░░░░░░░░ ~0.8（接近高斯，部分成功）
|
||
α=2.0 ████████████████████ ~1.0（高斯，完全成功！）
|
||
α=3.0 ████████░░░░░░░░░░░░ ~0.8（超高斯，部分失败）
|
||
α=5.0 ██████░░░░░░░░░░░░░░ ~0.6（接近均匀，失败）
|
||
```
|
||
|
||
**R² 在 α=2（高斯）处尖锐达到峰值**，完美验证定理2。
|
||
|
||
---
|
||
|
||
## 🔗 与 ICA 理论的深层联系
|
||
|
||
### 为什么 ICA 和 LeJEPA 的结论相反？
|
||
|
||
| 方法 | 目标 | 高斯的角色 |
|
||
|------|------|-----------|
|
||
| 线性 ICA | 最大化非高斯性（kurtosis） | 高斯是"最难分离"的 |
|
||
| LeJEPA | 最大化 OU 相关性 | 高斯是"最容易识别"的 |
|
||
|
||
**根本原因：** ICA 利用高阶统计量（非高斯性）来分离信号；LeJEPA 利用时间结构（OU 相关性）来识别信号。这两种方法对高斯分布的"态度"完全相反。
|
||
|
||
### Hyvärinen & Pajunen (1999) 的经典结论
|
||
|
||
> 非线性 ICA 在一般情况下是不可识别的。
|
||
|
||
LeJEPA 通过**限制分布为高斯**和**使用时间结构**，绕过了这个不可识别性结果。
|
||
|
||
---
|
||
|
||
## ⚠️ 实践含义
|
||
|
||
### 什么时候潜变量近似高斯？
|
||
|
||
1. **中心极限定理**：如果潜变量是许多独立小因素的叠加，则趋向高斯
|
||
2. **宏观物理量**：温度、压力等宏观量通常近似高斯
|
||
3. **主成分**：PCA 后的主成分在许多情况下近似高斯
|
||
|
||
### 什么时候不是高斯？
|
||
|
||
1. **稀疏信号**：自然图像的小波系数（拉普拉斯分布）
|
||
2. **有界量**：角度、概率值（均匀或 Beta 分布）
|
||
3. **多峰分布**：类别标签、离散状态
|
||
|
||
**论文的建议：** 对于非高斯潜变量，LeJEPA 仍然有用，但线性可识别性保证不再成立（见 Topic 5 的近似界）。
|
||
|
||
---
|
||
|
||
## ✅ 小结
|
||
|
||
1. **定理2** 证明高斯分布是线性可识别性的**唯一**充要条件
|
||
2. **证明工具**：Sturm-Liouville 特征值理论
|
||
3. **核心链条**：仿射特征函数 ⟺ 线性得分函数 ⟺ 高斯分布
|
||
4. **与 ICA 的对比**：LeJEPA 完全颠倒了 ICA 中高斯分布的角色
|
||
5. **实验验证**：广义正态分布扫描显示 R² 在 α=2 处尖锐达到峰值
|
||
|
||
---
|
||
|
||
## ➡️ 下一步
|
||
|
||
→ [Topic 5：近似可识别性界](05_approximate_identifiability.md)——当假设只近似满足时，误差如何优雅降级？
|