gaojie
237 lines
6.6 KiB
Markdown
237 lines
6.6 KiB
Markdown
# Topic 5：近似可识别性界（定理 3）
|
||
|
||
> **前置知识：** [Topic 3：谱分解与线性可识别性](03_spectral_identifiability.md)
|
||
> **目标：** 理解当理论假设只近似满足时，恢复误差如何被量化和控制
|
||
|
||
---
|
||
|
||
## 🎯 定理 3 的完整陈述
|
||
|
||
> **定理 3（近似可识别性）：** 设编码器 `h` 满足：
|
||
> - **近似对齐**：`L_align(h) ≤ 2(1-ρ)n + δ`（对齐损失比最优值多 `δ`）
|
||
> - **近似白化**：`‖Cov(h(z)) - Iₙ‖_F ≤ ε`（协方差矩阵偏离单位阵 `ε`）
|
||
>
|
||
> 则存在正交矩阵 `Q ∈ O(n)` 使得：
|
||
> ```
|
||
> E[‖h(z) - Qz‖²] ≤ D + (ε + D)²
|
||
> ```
|
||
> 其中 `D = δ / (2ρ(1-ρ))`。
|
||
|
||
---
|
||
|
||
## 🤔 为什么需要近似版本？
|
||
|
||
定理1是**精确**结论：在完美条件下，`h(z) = Qz`。
|
||
|
||
但在实践中：
|
||
1. **优化不完美**：梯度下降不一定找到全局最优
|
||
2. **有限样本**：用有限数据估计的协方差矩阵有误差
|
||
3. **模型容量**：神经网络可能无法精确表示线性函数
|
||
4. **非高斯数据**：真实数据可能不完全满足高斯假设
|
||
|
||
定理3告诉我们：**即使条件只近似满足，恢复误差也是有界的，且随误差优雅降级**。
|
||
|
||
---
|
||
|
||
## 📐 两个误差参数的含义
|
||
|
||
### 参数 δ：对齐间隙（Alignment Gap）
|
||
|
||
```
|
||
δ = L_align(h) - 2(1-ρ)n ≥ 0
|
||
```
|
||
|
||
- `δ = 0`：完美对齐（定理1的条件）
|
||
- `δ > 0`：对齐损失比最优值多 `δ`
|
||
|
||
**物理含义：** 正样本对的嵌入有多"不相似"（超出理论最优的部分）。
|
||
|
||
### 参数 ε：白化误差（Whitening Error）
|
||
|
||
```
|
||
ε = ‖Cov(h(z)) - Iₙ‖_F
|
||
```
|
||
|
||
- `ε = 0`：完美白化（嵌入是各向同性高斯）
|
||
- `ε > 0`：协方差矩阵偏离单位阵
|
||
|
||
**物理含义：** 嵌入分布有多"不高斯"（协方差矩阵偏离单位阵的程度）。
|
||
|
||
---
|
||
|
||
## 📐 归一化量 D 的推导
|
||
|
||
从 `δ` 到 `D` 的转换：
|
||
|
||
```
|
||
D = δ / (2ρ(1-ρ))
|
||
```
|
||
|
||
**为什么要除以 `2ρ(1-ρ)`？**
|
||
|
||
回忆定理1的证明：对齐损失的最优值是 `2(1-ρ)n`，而相关性的"谱间隙"（线性成分 `ρ` 与二次成分 `ρ²` 之差）是：
|
||
|
||
```
|
||
ρ - ρ² = ρ(1-ρ)
|
||
```
|
||
|
||
所以 `2ρ(1-ρ)` 是"每单位非线性成分对对齐损失的贡献"。除以它可以把对齐间隙 `δ` 转换为"非线性成分的总权重"。
|
||
|
||
---
|
||
|
||
## 📐 界的推导（简化版）
|
||
|
||
### 第一步：从 δ 到非线性权重
|
||
|
||
由定理1的证明，对齐损失可以写成：
|
||
|
||
```
|
||
L_align = 2n - 2 Σᵢ corr_i = 2n - 2 Σᵢ Σ_d w_{i,d} ρᵈ
|
||
```
|
||
|
||
最优值是 `2(1-ρ)n`（所有 `w_{i,1} = 1`）。
|
||
|
||
对齐间隙 `δ` 对应于非线性成分的总权重：
|
||
|
||
```
|
||
Σᵢ Σ_{d≥2} w_{i,d} ≤ δ / (2ρ(1-ρ)) = D
|
||
```
|
||
|
||
### 第二步：从非线性权重到恢复误差
|
||
|
||
非线性成分的总权重 `D` 直接给出恢复误差的一部分：
|
||
|
||
```
|
||
E[‖h(z) - Az‖²] ≤ D
|
||
```
|
||
|
||
其中 `A` 是最优线性近似。
|
||
|
||
### 第三步：从线性近似到正交矩阵
|
||
|
||
`A` 不一定是正交的（因为白化误差 `ε`）。从 `A` 到最近的正交矩阵 `Q`（Procrustes 问题）引入额外误差：
|
||
|
||
```
|
||
‖A - Q‖_F ≤ ε + D
|
||
```
|
||
|
||
### 第四步：三角不等式组合
|
||
|
||
```
|
||
E[‖h(z) - Qz‖²] ≤ E[‖h(z) - Az‖²] + ‖A - Q‖_F²
|
||
≤ D + (ε + D)²
|
||
```
|
||
|
||
---
|
||
|
||
## 📊 界的数值感受
|
||
|
||
设 `ρ = 0.9`，考虑不同的误差水平：
|
||
|
||
| δ（对齐间隙） | ε（白化误差） | D = δ/(2×0.9×0.1) | 界 D + (ε+D)² |
|
||
|-------------|-------------|-------------------|--------------|
|
||
| 0 | 0 | 0 | 0（完美！） |
|
||
| 0.018 | 0 | 0.1 | 0.1 + 0.01 = 0.11 |
|
||
| 0.018 | 0.1 | 0.1 | 0.1 + 0.04 = 0.14 |
|
||
| 0.018 | 0.5 | 0.1 | 0.1 + 0.36 = 0.46 |
|
||
| 0.18 | 0 | 1.0 | 1.0 + 1.0 = 2.0 |
|
||
|
||
**观察：**
|
||
- 对齐间隙 `δ` 是主要误差来源（通过 `D`）
|
||
- 白化误差 `ε` 的影响是二阶的（`(ε+D)²` 中的 `ε`）
|
||
- 当 `D` 很小时，`ε` 的影响可以忽略
|
||
|
||
---
|
||
|
||
## 🔧 代码中的量化
|
||
|
||
在 [`metrics.py`](../lejepa-identifiability/experiments/lejepa_id/metrics.py:16) 中，所有界的量都被计算：
|
||
|
||
```python
|
||
def compute_all_metrics(z, x, h, h_prime, rho, N):
|
||
# 白化误差 ε
|
||
cov_h = torch.cov(h.T)
|
||
epsilon = torch.linalg.norm(cov_h - torch.eye(N), 'fro').item()
|
||
|
||
# 对齐损失 L_h
|
||
L_h = ((h_prime - h) ** 2).sum(dim=1).mean().item()
|
||
|
||
# 对齐间隙 δ（与理论最优 2(1-ρ)·trace_cov 的差）
|
||
delta = max(L_h - 2 * (1 - rho) * trace_cov, 0.0)
|
||
|
||
# 归一化量 D
|
||
spectral_gap = 2 * rho * (1 - rho)
|
||
D_bound = delta / spectral_gap
|
||
|
||
# 近似界
|
||
approx_bound = D_bound + (epsilon + D_bound) ** 2
|
||
```
|
||
|
||
---
|
||
|
||
## 📈 实验验证
|
||
|
||
论文在所有实验运行中验证了定理3：
|
||
|
||
**图(a)（官网）：** 横轴是理论界 `D + (ε+D)²`，纵轴是实际恢复误差。
|
||
|
||
```
|
||
实际误差
|
||
↑
|
||
│ ●
|
||
│ ●●
|
||
│ ●●●
|
||
│ ●●●●
|
||
│●●●●
|
||
└──────────────────→ 理论界
|
||
所有点在对角线下方（界成立）
|
||
```
|
||
|
||
**关键发现：**
|
||
- 所有运行的实际误差均**低于**理论界（界是有效的）
|
||
- 对齐损失 `L_h` 是可识别性的**最强预测指标**
|
||
- 白化误差 `ε` 的影响相对较小
|
||
|
||
---
|
||
|
||
## 🎯 实践含义
|
||
|
||
### 对训练的指导
|
||
|
||
1. **优先优化对齐损失**：`δ` 是主要误差来源，应该尽量减小
|
||
2. **白化误差是次要的**：`ε` 的影响是二阶的，不需要过度追求完美白化
|
||
3. **监控 D_bound**：训练时可以用 `D_bound` 作为可识别性的代理指标
|
||
|
||
### 对超参数选择的指导
|
||
|
||
- **`ρ` 的选择**：`ρ` 越大，`2ρ(1-ρ)` 越小，`D` 越大（对 `δ` 更敏感）
|
||
- `ρ = 0.5` 时：`2ρ(1-ρ) = 0.5`（最大谱间隙）
|
||
- `ρ = 0.9` 时：`2ρ(1-ρ) = 0.18`（较小谱间隙）
|
||
- 实践中 `ρ ∈ [0.8, 0.95]` 是好的选择
|
||
|
||
- **`λ` 的选择**：正则化权重影响白化误差 `ε`
|
||
- `λ` 太小：白化不充分，`ε` 大
|
||
- `λ` 太大：对齐损失被忽视，`δ` 大
|
||
|
||
---
|
||
|
||
## 🔬 Lean 4 验证
|
||
|
||
在 [`Approx.lean`](../lejepa-identifiability/lean/LeJEPA/Approx.lean) 中形式化验证了定理3的核心不等式链。
|
||
|
||
---
|
||
|
||
## ✅ 小结
|
||
|
||
1. **定理3** 量化了"近似满足条件时"的恢复误差
|
||
2. **两个误差参数**：对齐间隙 `δ`（主要）和白化误差 `ε`（次要）
|
||
3. **界的形式**：`D + (ε+D)²`，其中 `D = δ/(2ρ(1-ρ))`
|
||
4. **优雅降级**：误差随 `δ, ε → 0` 连续趋向零
|
||
5. **实践指导**：优先减小对齐损失，白化误差是次要的
|
||
|
||
---
|
||
|
||
## ➡️ 下一步
|
||
|
||
→ [Topic 6：正交不变性与最优规划](06_planning_equivalence.md)——线性可识别性如何使潜空间规划与真实世界规划等价？
|