gaojie
172 lines
4.9 KiB
Markdown
172 lines
4.9 KiB
Markdown
# Topic 1：Hermite 多项式——从直觉到定义
|
||
|
||
> **前置知识：** 高中数学（多项式）、基础概率（正态分布）
|
||
> **目标：** 理解为什么 Hermite 多项式是分析高斯分布下函数的"天然工具"
|
||
|
||
---
|
||
|
||
## 🎯 核心问题
|
||
|
||
LeJEPA 的证明需要回答：**编码器 `h(z)` 中，哪些成分对正样本对的相关性贡献最大？**
|
||
|
||
答案需要一套能把任意函数"拆开"的工具——就像傅里叶级数把周期函数拆成正弦/余弦。在高斯分布下，这套工具就是 **Hermite 多项式**。
|
||
|
||
---
|
||
|
||
## 📐 从傅里叶到 Hermite：类比理解
|
||
|
||
| 概念 | 傅里叶级数 | Hermite 展开 |
|
||
|------|-----------|-------------|
|
||
| 适用场景 | 周期函数 | 高斯分布下的函数 |
|
||
| 基函数 | `sin(nx), cos(nx)` | `H₀(z), H₁(z), H₂(z), ...` |
|
||
| 正交性 | `∫ sin(mx)sin(nx)dx = 0`（m≠n） | `E[Hₘ(z)Hₙ(z)] = 0`（m≠n，z~N(0,1)） |
|
||
| 展开系数 | 傅里叶系数 | Hermite 系数 |
|
||
| 完备性 | 任意周期函数可展开 | 任意 L²(γ) 函数可展开 |
|
||
|
||
**关键区别：** Hermite 的正交性是在**高斯测度**下定义的，即期望 `E[·]` 是对 `z ~ N(0,1)` 取的。
|
||
|
||
---
|
||
|
||
## 📝 Hermite 多项式的定义
|
||
|
||
### 物理学家版（概率论中常用）
|
||
|
||
前几个 Hermite 多项式（概率论版，`He_n`）：
|
||
|
||
```
|
||
He₀(z) = 1
|
||
He₁(z) = z
|
||
He₂(z) = z² - 1
|
||
He₃(z) = z³ - 3z
|
||
He₄(z) = z⁴ - 6z² + 3
|
||
He₅(z) = z⁵ - 10z³ + 15z
|
||
```
|
||
|
||
### 递推公式（最容易记忆）
|
||
|
||
```
|
||
He_{n+1}(z) = z · Heₙ(z) - n · He_{n-1}(z)
|
||
```
|
||
|
||
**例子：**
|
||
- `He₂(z) = z · He₁(z) - 1 · He₀(z) = z·z - 1·1 = z² - 1` ✓
|
||
- `He₃(z) = z · He₂(z) - 2 · He₁(z) = z(z²-1) - 2z = z³ - 3z` ✓
|
||
|
||
---
|
||
|
||
## 🔑 最重要的性质：正交性
|
||
|
||
当 `z ~ N(0,1)` 时：
|
||
|
||
```
|
||
E[Heₘ(z) · Heₙ(z)] = { n! 如果 m = n
|
||
{ 0 如果 m ≠ n
|
||
```
|
||
|
||
**直觉：** 不同"频率"（阶数）的 Hermite 多项式在高斯分布下互不干扰，就像不同频率的正弦波互相正交。
|
||
|
||
### 验证 He₁ 和 He₂ 的正交性
|
||
|
||
```
|
||
E[He₁(z) · He₂(z)] = E[z · (z² - 1)]
|
||
= E[z³] - E[z]
|
||
= 0 - 0 = 0 ✓
|
||
（高斯分布的奇数阶矩为零）
|
||
```
|
||
|
||
---
|
||
|
||
## 🌊 完备性：任意函数都能展开
|
||
|
||
对任意满足 `E[h(z)²] < ∞` 的函数 `h`，可以展开为：
|
||
|
||
```
|
||
h(z) = Σ_{d=0}^{∞} cₐ · Heₐ(z)
|
||
```
|
||
|
||
其中展开系数：
|
||
```
|
||
cₐ = E[h(z) · Heₐ(z)] / d!
|
||
```
|
||
|
||
**类比：** 就像任意向量可以用正交基展开，任意"有限能量"的函数可以用 Hermite 多项式展开。
|
||
|
||
---
|
||
|
||
## 💡 为什么 Hermite 多项式对 LeJEPA 至关重要？
|
||
|
||
### 关键事实：OU 过程对不同阶数的衰减不同
|
||
|
||
当 `z' = ρz + √(1-ρ²)η`（OU 过程，`η ~ N(0,1)`）时：
|
||
|
||
```
|
||
E[Heₙ(z') · Heₙ(z)] = ρⁿ · n!
|
||
```
|
||
|
||
**翻译成人话：**
|
||
- 1阶（线性）成分：相关性 = `ρ¹ = ρ`
|
||
- 2阶（二次）成分：相关性 = `ρ² < ρ`（因为 `ρ < 1`）
|
||
- 3阶（三次）成分：相关性 = `ρ³ < ρ²`
|
||
- d阶成分：相关性 = `ρᵈ`，随 d 增大**指数衰减**
|
||
|
||
### 这意味着什么？
|
||
|
||
LeJEPA 的对齐损失要**最大化**正样本对的相关性。由于：
|
||
- 线性成分贡献 `ρ`
|
||
- 非线性成分贡献 `ρᵈ < ρ`（d ≥ 2）
|
||
|
||
**最优策略就是：只保留线性成分，丢弃所有非线性成分！**
|
||
|
||
这就是定理1的核心直觉。
|
||
|
||
---
|
||
|
||
## 🎨 可视化：前4个 Hermite 多项式
|
||
|
||
```
|
||
He₀(z) = 1 ──────────────── （常数，被零均值约束排除）
|
||
He₁(z) = z ╱ （线性，这是我们想要的！）
|
||
He₂(z) = z²-1 ∪ （二次，被 OU 衰减更多）
|
||
He₃(z) = z³-3z ∫ （三次，衰减更多）
|
||
```
|
||
|
||
在 `z ~ N(0,1)` 的分布下，大多数概率质量集中在 `[-3, 3]` 区间。
|
||
|
||
---
|
||
|
||
## 📊 谱权重的含义
|
||
|
||
在 LeJEPA 的证明中，定义**谱权重** `wₐ`：
|
||
|
||
```
|
||
wₐ = (展开系数 cₐ)² · d! / E[h(z)²]
|
||
```
|
||
|
||
满足：
|
||
- `wₐ ≥ 0`（非负）
|
||
- `w₀ = 0`（零均值约束）
|
||
- `Σ wₐ = 1`（单位方差归一化）
|
||
|
||
**物理意义：** `wₐ` 是编码器 `h` 中"d阶非线性成分"占总方差的比例。
|
||
|
||
| 情况 | 谱权重分布 | 含义 |
|
||
|------|-----------|------|
|
||
| 纯线性 `h(z) = az` | `w₁ = 1`，其余为0 | 100% 线性 |
|
||
| 纯二次 `h(z) = z²-1` | `w₂ = 1`，其余为0 | 100% 二次 |
|
||
| 混合 `h(z) = z + z²-1` | `w₁, w₂ > 0` | 线性+二次混合 |
|
||
|
||
---
|
||
|
||
## ✅ 小结
|
||
|
||
1. **Hermite 多项式** 是高斯分布下函数的"频率分解"工具
|
||
2. **正交性**：不同阶数的 Hermite 多项式在高斯期望下互不干扰
|
||
3. **OU 衰减**：d 阶成分的时间相关性为 `ρᵈ`，高阶衰减更快
|
||
4. **LeJEPA 的核心**：最大化相关性 → 只保留线性（d=1）成分 → 线性可识别性
|
||
|
||
---
|
||
|
||
## ➡️ 下一步
|
||
|
||
→ [Topic 2：OU 过程与 Mehler 公式](02_ou_process_mehler.md)——深入理解 `ρᵈ` 衰减的来源
|