# Topic 1：Hermite 多项式——从直觉到定义

> **前置知识：** 高中数学（多项式）、基础概率（正态分布）
> **目标：** 理解为什么 Hermite 多项式是分析高斯分布下函数的"天然工具"

---

## 🎯 核心问题

LeJEPA 的证明需要回答：**编码器 `h(z)` 中，哪些成分对正样本对的相关性贡献最大？**

答案需要一套能把任意函数"拆开"的工具——就像傅里叶级数把周期函数拆成正弦/余弦。在高斯分布下，这套工具就是 **Hermite 多项式**。

---

## 📐 从傅里叶到 Hermite：类比理解

| 概念 | 傅里叶级数 | Hermite 展开 |
|------|-----------|-------------|
| 适用场景 | 周期函数 | 高斯分布下的函数 |
| 基函数 | `sin(nx), cos(nx)` | `H₀(z), H₁(z), H₂(z), ...` |
| 正交性 | `∫ sin(mx)sin(nx)dx = 0`（m≠n） | `E[Hₘ(z)Hₙ(z)] = 0`（m≠n，z~N(0,1)） |
| 展开系数 | 傅里叶系数 | Hermite 系数 |
| 完备性 | 任意周期函数可展开 | 任意 L²(γ) 函数可展开 |

**关键区别：** Hermite 的正交性是在**高斯测度**下定义的，即期望 `E[·]` 是对 `z ~ N(0,1)` 取的。

---

## 📝 Hermite 多项式的定义

### 物理学家版（概率论中常用）

前几个 Hermite 多项式（概率论版，`He_n`）：

```
He₀(z) = 1
He₁(z) = z
He₂(z) = z² - 1
He₃(z) = z³ - 3z
He₄(z) = z⁴ - 6z² + 3
He₅(z) = z⁵ - 10z³ + 15z
```

### 递推公式（最容易记忆）

```
He_{n+1}(z) = z · Heₙ(z) - n · He_{n-1}(z)
```

**例子：**
- `He₂(z) = z · He₁(z) - 1 · He₀(z) = z·z - 1·1 = z² - 1` ✓
- `He₃(z) = z · He₂(z) - 2 · He₁(z) = z(z²-1) - 2z = z³ - 3z` ✓

---

## 🔑 最重要的性质：正交性

当 `z ~ N(0,1)` 时：

```
E[Heₘ(z) · Heₙ(z)] = { n!   如果 m = n
                       { 0    如果 m ≠ n
```

**直觉：** 不同"频率"（阶数）的 Hermite 多项式在高斯分布下互不干扰，就像不同频率的正弦波互相正交。

### 验证 He₁ 和 He₂ 的正交性

```
E[He₁(z) · He₂(z)] = E[z · (z² - 1)]
                    = E[z³] - E[z]
                    = 0 - 0 = 0  ✓
（高斯分布的奇数阶矩为零）
```

---

## 🌊 完备性：任意函数都能展开

对任意满足 `E[h(z)²] < ∞` 的函数 `h`，可以展开为：

```
h(z) = Σ_{d=0}^{∞} cₐ · Heₐ(z)
```

其中展开系数：
```
cₐ = E[h(z) · Heₐ(z)] / d!
```

**类比：** 就像任意向量可以用正交基展开，任意"有限能量"的函数可以用 Hermite 多项式展开。

---

## 💡 为什么 Hermite 多项式对 LeJEPA 至关重要？

### 关键事实：OU 过程对不同阶数的衰减不同

当 `z' = ρz + √(1-ρ²)η`（OU 过程，`η ~ N(0,1)`）时：

```
E[Heₙ(z') · Heₙ(z)] = ρⁿ · n!
```

**翻译成人话：**
- 1阶（线性）成分：相关性 = `ρ¹ = ρ`
- 2阶（二次）成分：相关性 = `ρ² < ρ`（因为 `ρ < 1`）
- 3阶（三次）成分：相关性 = `ρ³ < ρ²`
- d阶成分：相关性 = `ρᵈ`，随 d 增大**指数衰减**

### 这意味着什么？

LeJEPA 的对齐损失要**最大化**正样本对的相关性。由于：
- 线性成分贡献 `ρ`
- 非线性成分贡献 `ρᵈ < ρ`（d ≥ 2）

**最优策略就是：只保留线性成分，丢弃所有非线性成分！**

这就是定理1的核心直觉。

---

## 🎨 可视化：前4个 Hermite 多项式

```
He₀(z) = 1          ────────────────  （常数，被零均值约束排除）
He₁(z) = z          ╱               （线性，这是我们想要的！）
He₂(z) = z²-1       ∪               （二次，被 OU 衰减更多）
He₃(z) = z³-3z      ∫               （三次，衰减更多）
```

在 `z ~ N(0,1)` 的分布下，大多数概率质量集中在 `[-3, 3]` 区间。

---

## 📊 谱权重的含义

在 LeJEPA 的证明中，定义**谱权重** `wₐ`：

```
wₐ = (展开系数 cₐ)² · d! / E[h(z)²]
```

满足：
- `wₐ ≥ 0`（非负）
- `w₀ = 0`（零均值约束）
- `Σ wₐ = 1`（单位方差归一化）

**物理意义：** `wₐ` 是编码器 `h` 中"d阶非线性成分"占总方差的比例。

| 情况 | 谱权重分布 | 含义 |
|------|-----------|------|
| 纯线性 `h(z) = az` | `w₁ = 1`，其余为0 | 100% 线性 |
| 纯二次 `h(z) = z²-1` | `w₂ = 1`，其余为0 | 100% 二次 |
| 混合 `h(z) = z + z²-1` | `w₁, w₂ > 0` | 线性+二次混合 |

---

## ✅ 小结

1. **Hermite 多项式** 是高斯分布下函数的"频率分解"工具
2. **正交性**：不同阶数的 Hermite 多项式在高斯期望下互不干扰
3. **OU 衰减**：d 阶成分的时间相关性为 `ρᵈ`，高阶衰减更快
4. **LeJEPA 的核心**：最大化相关性 → 只保留线性（d=1）成分 → 线性可识别性

---

## ➡️ 下一步

→ [Topic 2：OU 过程与 Mehler 公式](02_ou_process_mehler.md)——深入理解 `ρᵈ` 衰减的来源