# 专题 I：Hermite 多项式与谱分解理论

> **前置知识：** 线性代数（内积空间）、概率论（高斯分布矩）、微积分（分部积分）
> **目标：** 建立高斯测度下函数展开的完整数学框架，为定理1的证明提供核心工具
> **对应 Lean 4：** [`Hermite.lean`](../lejepa-identifiability/lean/LeJEPA/Hermite.lean)（零 `sorry`）

---

## 🎯 核心问题与证明定位

LeJEPA 的定理1（线性可识别性）需要回答一个根本问题：

> **给定编码器 $h: \mathbb{R}^n \to \mathbb{R}^n$，在什么条件下 $h(z) = Qz$（正交变换）是唯一的最优解？**

回答这个问题需要一套将任意函数"谱分解"为正交基展开的工具。在 $L^2(\gamma)$ 空间（$\gamma = \mathcal{N}(0, I_n)$ 为高斯测度）中，这套工具就是 **Hermite 多项式**。

**本专题在整体证明中的位置：**
```
定理1的证明路线：
  [Hermite展开] → [Mehler公式计算相关性] → [最优性条件迫使纯线性]
       ↑                                   
    本专题完成此步
```

---

## §1 Hermite 多项式的三种等价定义

### 1.1 显式公式（Rodrigues 型）

**定义 1.1（概率学家版 Hermite 多项式）**  
对任意非负整数 $n \geq 0$，定义 Hermite 多项式 $He_n: \mathbb{R} \to \mathbb{R}$ 为：

$$\boxed{He_n(x) = (-1)^n e^{x^2/2} \frac{d^n}{dx^n}\left(e^{-x^2/2}\right)}$$

**推导验证（前 4 项）：**

- $n = 0$：
$$He_0(x) = (-1)^0 e^{x^2/2} \cdot e^{-x^2/2} = 1$$

- $n = 1$：
$$\frac{d}{dx}(e^{-x^2/2}) = -xe^{-x^2/2}$$
$$He_1(x) = (-1)e^{x^2/2} \cdot (-xe^{-x^2/2}) = x$$

- $n = 2$：
$$\frac{d^2}{dx^2}(e^{-x^2/2}) = \frac{d}{dx}(-xe^{-x^2/2}) = -e^{-x^2/2} + x^2 e^{-x^2/2} = (x^2 - 1)e^{-x^2/2}$$
$$He_2(x) = (-1)^2 e^{x^2/2} \cdot (x^2 - 1)e^{-x^2/2} = x^2 - 1$$

- $n = 3$：
$$\frac{d^3}{dx^3}(e^{-x^2/2}) = \frac{d}{dx}((x^2-1)e^{-x^2/2}) = 2xe^{-x^2/2} - x(x^2-1)e^{-x^2/2} = (2x - x^3 + x)e^{-x^2/2} = (3x - x^3)e^{-x^2/2}$$
$$He_3(x) = (-1)^3 e^{x^2/2} \cdot (3x - x^3)e^{-x^2/2} = -(3x - x^3) = x^3 - 3x$$

**前六个 Hermite 多项式汇总：**
$$\begin{array}{c|l} n & He_n(x) \\ \hline 0 & 1 \\ 1 & x \\ 2 & x^2 - 1 \\ 3 & x^3 - 3x \\ 4 & x^4 - 6x^2 + 3 \\ 5 & x^5 - 10x^3 + 15x \end{array}$$

### 1.2 递推关系（计算友好）

**定理 1.2（递推公式）**  
Hermite 多项式满足以下递推关系：

$$\boxed{He_{n+1}(x) = x \cdot He_n(x) - n \cdot He_{n-1}(x),\quad n \geq 0}$$

约定 $He_{-1}(x) = 0$，则递推从 $n=0$ 开始有效。

**证明：**  
我们使用 Rodrigues 定义和乘积法则。考虑：
$$\frac{d^n}{dx^n}\left(e^{-x^2/2} \cdot x\right)$$

由 Leibniz 法则：
$$\frac{d^n}{dx^n}(f \cdot g) = \sum_{k=0}^{n}\binom{n}{k} f^{(k)} \cdot g^{(n-k)}$$

取 $f(x) = e^{-x^2/2}$，$g(x) = x$：
- $f^{(k)}(x) = \frac{d^k}{dx^k}(e^{-x^2/2})$
- $g^{(0)}(x) = x$，$g^{(1)}(x) = 1$，$g^{(k)}(x) = 0$（$k \geq 2$）

因此：
$$\frac{d^n}{dx^n}(x \cdot e^{-x^2/2}) = x \cdot \frac{d^n}{dx^n}(e^{-x^2/2}) + n \cdot \frac{d^{n-1}}{dx^{n-1}}(e^{-x^2/2})$$

两边乘以 $(-1)^{n+1} e^{x^2/2}$：
$$\begin{aligned} (-1)^{n+1} e^{x^2/2} \cdot \frac{d^n}{dx^n}(x \cdot e^{-x^2/2}) &= (-1)^{n+1} x \cdot e^{x^2/2} \cdot \frac{d^n}{dx^n}(e^{-x^2/2}) + (-1)^{n+1} n \cdot e^{x^2/2} \cdot \frac{d^{n-1}}{dx^{n-1}}(e^{-x^2/2}) \\ &= -x \cdot He_n(x) + n \cdot He_{n-1}(x)\end{aligned}$$

另一方面，注意到 $\frac{d}{dx}(e^{-x^2/2}) = -xe^{-x^2/2}$，所以：
$$\frac{d^{n+1}}{dx^{n+1}}(e^{-x^2/2}) = \frac{d^n}{dx^n}(-xe^{-x^2/2})$$

因此：
$$\begin{aligned} He_{n+1}(x) &= (-1)^{n+1} e^{x^2/2} \cdot \frac{d^{n+1}}{dx^{n+1}}(e^{-x^2/2}) \\ &= (-1)^{n+1} e^{x^2/2} \cdot \frac{d^n}{dx^n}(-xe^{-x^2/2}) \\ &= (-1)^{n+2} e^{x^2/2} \cdot \frac{d^n}{dx^n}(xe^{-x^2/2})\end{aligned}$$

结合两式：
$$He_{n+1}(x) = x \cdot He_n(x) - n \cdot He_{n-1}(x)\quad\square$$

**验证（$n = 2 \to n = 3$）：**
$$He_3(x) = x \cdot He_2(x) - 2 \cdot He_1(x) = x(x^2-1) - 2x = x^3 - 3x\quad\square$$

### 1.3 生成函数（分析友好）

**定义 1.4（指数型生成函数）**  
Hermite 多项式的指数型生成函数为：

$$\boxed{G(x, t) = \sum_{n=0}^{\infty} He_n(x) \frac{t^n}{n!} = e^{xt - t^2/2}}$$

**证明：**  
考虑函数 $f(t) = e^{xt - t^2/2}$。由 Taylor 定理：
$$f(t) = \sum_{n=0}^{\infty} \frac{1}{n!} \cdot \left.\frac{d^n f}{dt^n}\right|_{t=0} \cdot t^n$$

计算 $\frac{d^n}{dt^n}(e^{xt - t^2/2})$ 在 $t = 0$ 处的值：

首先，$\frac{\partial}{\partial t}(e^{xt - t^2/2}) = (x-t)e^{xt - t^2/2}$。

注意到 $\frac{\partial}{\partial t} G(x,t) = (x-t)G(x,t)$，即：
$$\sum_{n=0}^{\infty} He_n(x) \frac{t^{n-1}}{(n-1)!} = x\sum_{n=0}^{\infty} He_n(x)\frac{t^n}{n!} - \sum_{n=0}^{\infty} He_n(x)\frac{t^{n+1}}{n!}$$

比较 $t^n$ 的系数：
$$\frac{He_{n+1}(x)}{n!} = x \cdot \frac{He_n(x)}{n!} - \frac{He_{n-1}(x)}{(n-1)!}$$

即：
$$He_{n+1}(x) = x \cdot He_n(x) - n \cdot He_{n-1}(x)$$

这正是递推公式（定理 1.2）。由于 $G(x,0) = e^0 = 1 = He_0(x)$，且递推关系唯一确定多项式序列，故生成函数成立。$\square$

**生成函数的关键用途：** Mehler 公式的证明依赖于对 $G(x,t) \cdot G(y, s)$ 的双重生成函数展开。

---

## §2 多变量 Hermite 多项式与谱分解框架

### 2.1 多维推广

**定义 2.1（多变量 Hermite 多项式）**  
设 $z = (z_1, \ldots, z_n) \in \mathbb{R}^n$，$\alpha = (\alpha_1, \ldots, \alpha_n) \in \mathbb{N}^n$ 为多指标。定义：

$$\boxed{He_\alpha(z) = \prod_{i=1}^{n} He_{\alpha_i}(z_i)}$$

其中 $|\alpha| = \sum_{i=1}^{n}\alpha_i$ 为总阶数，$\alpha! = \prod_{i=1}^{n}\alpha_i!$。

**示例（$n = 2$）：**
- $He_{(0,0)}(z_1,z_2) = 1$
- $He_{(1,0)}(z_1,z_2) = z_1$
- $He_{(0,1)}(z_1,z_2) = z_2$
- $He_{(2,0)}(z_1,z_2) = z_1^2 - 1$
- $He_{(1,1)}(z_1,z_2) = z_1 \cdot z_2$
- $He_{(0,2)}(z_1,z_2) = z_2^2 - 1$

### 2.2 $L^2(\gamma)$ Hilbert 空间框架

**定义 2.2（高斯测度与内积）**  
设 $\gamma = \mathcal{N}(0, I_n)$ 为标准高斯测度，其密度为：
$$\phi(z) = (2\pi)^{-n/2} e^{-|z|^2/2}, \quad z \in \mathbb{R}^n$$

定义 $L^2(\gamma)$ 为所有满足 $\mathbb{E}_\gamma[f(z)^2] < \infty$ 的可测函数空间，内积为：
$$\boxed{\langle f, g \rangle_\gamma = \mathbb{E}[f(z)g(z)] = \int_{\mathbb{R}^n} f(z) g(z)\, d\gamma(z)}$$

其中 $z \sim \mathcal{N}(0, I_n)$。对应的范数为 $\|f\|_\gamma = \sqrt{\langle f, f\rangle_\gamma}$。

**命题 2.3（$L^2(\gamma)$ 是 Hilbert 空间）**  
$L^2(\gamma)$ 关于内积 $\langle \cdot, \cdot\rangle_\gamma$ 是完备的内积空间，即 Hilbert 空间。

**证明概要：**  
这是 $L^2$ 空间的经典结果（Riesz–Fischer 定理）。由于 $\gamma$ 是概率测度，$\mathbb{E}[|f|^2] < \infty$ 定义的范数使 $L^2(\gamma)$ 完备。$\square$

### 2.3 Hermite 展开（谱分解定理）

**定理 2.4（Hermite 展开 / 谱分解）**  
$\{He_\alpha\}_{\alpha \in \mathbb{N}^n}$ 构成 $L^2(\gamma)$ 的**完备正交系**。即：

**(a) 展开存在性：** 对任意 $f \in L^2(\gamma)$，有唯一分解：
$$\boxed{f(z) = \sum_{\alpha \in \mathbb{N}^n} c_\alpha He_\alpha(z),\quad \text{在 } L^2(\gamma) \text{ 意义下收敛}}$$

**(b) 系数公式：**
$$\boxed{c_\alpha = \frac{\langle f, He_\alpha\rangle_\gamma}{\mathbb{E}[He_\alpha(z)^2]} = \frac{\mathbb{E}[f(z) He_\alpha(z)]}{\alpha!}}$$

**(c) Parseval 恒等式：**
$$\boxed{\|f\|_\gamma^2 = \sum_{\alpha \in \mathbb{N}^n} c_\alpha^2 \cdot \alpha! = \sum_{\alpha \in \mathbb{N}^n} \frac{\langle f, He_\alpha\rangle_\gamma^2}{\alpha!}}$$

**证明：**  
**(a)** 由于 $\{He_\alpha\}$ 是正交系（见定理2.5），且可以证明其张成的子空间在 $L^2(\gamma)$ 中稠密（标准论证：多项式在高斯测度下稠密，因为 Hermite 多项式的生成函数是解析的），故构成完备正交基。

**(b)** 对 $f = \sum_\beta c_\beta He_\beta$，两边与 $He_\alpha$ 取内积：
$$\langle f, He_\alpha\rangle = \sum_{\beta} c_\beta \langle He_\beta, He_\alpha\rangle = c_\alpha \cdot \mathbb{E}[He_\alpha^2]$$

因此 $c_\alpha = \langle f, He_\alpha\rangle / \mathbb{E}[He_\alpha^2]$。

**(c)** 由 Parseval 定理（Hilbert 空间中任意完备正交基都满足）：
$$\|f\|^2 = \sum_\alpha |\langle f, e_\alpha\rangle|^2$$

其中 $e_\alpha = He_\alpha / \|He_\alpha\|$ 是归一化基。代入即得：
$$\|f\|^2 = \sum_\alpha c_\alpha^2 \cdot \|He_\alpha\|^2 = \sum_\alpha c_\alpha^2 \cdot \alpha!\quad\square$$

---

## §3 正交性的严格证明

### 3.1 一维情形

**定理 3.1（Hermite 多项式的正交性）**  
设 $z \sim \mathcal{N}(0, 1)$，则对任意非负整数 $m, n$：

$$\boxed{\mathbb{E}[He_m(z) \cdot He_n(z)] = \delta_{mn} \cdot n! = \begin{cases} n! & m = n \\ 0 & m \neq n \end{cases}}$$

**证明（$m \neq n$ 情形）：**  
不妨设 $m < n$。由 Rodrigues 定义：
$$\mathbb{E}[He_m(z) He_n(z)] = \int_{-\infty}^{\infty} He_m(x) He_n(x)\, \phi(x)\, dx$$

其中 $\phi(x) = (2\pi)^{-1/2} e^{-x^2/2}$。

关键观察：$He_n(x) \phi(x) = (-1)^n \frac{d^n}{dx^n}(\phi(x))$（由 Rodrigues 定义）。

因此：
$$\begin{aligned} \mathbb{E}[He_m(z) He_n(z)] &= (-1)^n \int_{-\infty}^{\infty} He_m(x) \cdot \frac{d^n}{dx^n}\phi(x)\, dx\end{aligned}$$

分部积分 $n$ 次（边界项为零，因为 $\phi^{(k)}(x) \to 0$ 当 $|x|\to\infty$）：
$$= (-1)^n \cdot (-1)^n \int_{-\infty}^{\infty} He_m^{(n)}(x) \cdot \phi(x)\, dx = \int_{-\infty}^{\infty} He_m^{(n)}(x) \cdot \phi(x)\, dx$$

由于 $He_m$ 是 $m$ 次多项式，且 $n > m$，故 $He_m^{(n)} \equiv 0$。因此：
$$\mathbb{E}[He_m(z) He_n(z)] = 0\quad\square$$

**证明（$m = n$ 情形）：**  
需要计算 $\mathbb{E}[He_n(z)^2]$。使用生成函数法：

由定义 1.4，$\mathbb{E}[G(z, t) \cdot G(z, s)] = \mathbb{E}[\sum_{m,n} He_m(z)He_n(z)\frac{t^m}{m!}\frac{s^n}{n!}]$。

另一方面：
$$\mathbb{E}[G(z,t) \cdot G(z,s)] = \mathbb{E}[\exp(zt - t^2/2) \cdot \exp(zs - s^2/2)] = e^{-t^2/2}e^{-s^2/2}\mathbb{E}[e^{z(t+s)}]$$

由于 $z \sim \mathcal{N}(0,1)$，其矩生成函数为 $\mathbb{E}[e^{uz}] = e^{u^2/2}$，故：
$$\mathbb{E}[e^{z(t+s)}] = e^{(t+s)^2/2}$$

因此：
$$\mathbb{E}[G(z,t) \cdot G(z,s)] = e^{-t^2/2}e^{-s^2/2} \cdot e^{(t+s)^2/2} = e^{-t^2/2 - s^2/2 + t^2/2 + ts + s^2/2} = e^{ts}$$

展开 $e^{ts}$：
$$e^{ts} = \sum_{k=0}^{\infty}\frac{(ts)^k}{k!} = \sum_{k=0}^{\infty}\frac{t^k s^k}{k!}$$

比较 $t^n s^n$ 的系数：
- 左边：$\mathbb{E}[He_n(z)^2] \cdot \frac{1}{n!} \cdot \frac{1}{n!}$
- 右边：$\frac{1}{n!}$

因此 $\mathbb{E}[He_n(z)^2] = n!\quad\square$

### 3.2 多维情形（乘积结构）

**推论 3.2（多维正交性）**  
设 $z \sim \mathcal{N}(0, I_n)$，$\alpha, \beta \in \mathbb{N}^n$。则：

$$\boxed{\mathbb{E}[He_\alpha(z) \cdot He_\beta(z)] = \delta_{\alpha\beta} \cdot \alpha!}$$

**证明：**  
由定义 2.1，$He_\alpha(z) = \prod_{i=1}^{n} He_{\alpha_i}(z_i)$。由于 $z_1, \ldots, z_n$ 独立：
$$\begin{aligned} \mathbb{E}[He_\alpha(z) He_\beta(z)] &= \mathbb{E}\left[\prod_{i=1}^{n} He_{\alpha_i}(z_i) \cdot He_{\beta_i}(z_i)\right] \\ &= \prod_{i=1}^{n}\mathbb{E}[He_{\alpha_i}(z_i) \cdot He_{\beta_i}(z_i)] \\ &= \prod_{i=1}^{n}\delta_{\alpha_i\beta_i} \cdot \alpha_i! \\ &= \delta_{\alpha\beta} \cdot \prod_{i=1}^{n}\alpha_i! \\ &= \delta_{\alpha\beta} \cdot \alpha!\quad\square\end{aligned}$$

### 3.3 数值验证示例

**例 3.3（验证 $\mathbb{E}[He_1(z) \cdot He_2(z)] = 0$）：**
$$\begin{aligned} \mathbb{E}[He_1(z) \cdot He_2(z)] &= \mathbb{E}[z \cdot (z^2 - 1)] \\ &= \mathbb{E}[z^3] - \mathbb{E}[z] \\ &= 0 - 0 = 0\quad\square \end{aligned}$$

（利用了标准正态分布的奇数阶矩为零：$\mathbb{E}[z^{2k+1}] = 0$）

**例 3.4（验证 $\mathbb{E}[He_2(z)^2] = 2!$）：**
$$\begin{aligned} \mathbb{E}[He_2(z)^2] &= \mathbb{E}[(z^2 - 1)^2] \\ &= \mathbb{E}[z^4 - 2z^2 + 1] \\ &= \mathbb{E}[z^4] - 2\mathbb{E}[z^2] + 1 \\ &= 3 - 2 \cdot 1 + 1 = 4\quad\square \end{aligned}$$

（利用了 $\mathbb{E}[z^4] = 3$，即标准正态分布的四阶矩为 $3\sigma^4 = 3$）

---

## §4 谱权重与方差分解

### 4.1 谱权重的严格定义

**定义 4.1（谱权重）**  
设 $f \in L^2(\gamma)$，$\mathbb{E}[f(z)] = 0$（零均值），且 $\|f\|_\gamma^2 = \mathbb{E}[f(z)^2] < \infty$。

对任意阶数 $d \geq 0$，定义 **谱权重**：
$$\boxed{w_{f,d} = \frac{\sum_{|\alpha| = d} c_\alpha^2 \cdot \alpha!}{\mathbb{E}[f(z)^2]} = \frac{\sum_{|\alpha| = d} \langle f, He_\alpha\rangle^2 / \alpha!}{\|f\|^2}}$$

其中 $c_\alpha = \langle f, He_\alpha\rangle / \alpha!$ 是 Hermite 展开系数。

### 4.2 谱权重的重要性质

**命题 4.2（谱权重的基本性质）**  
设 $f$ 满足定义 4.1 的条件，则谱权重 $\{w_{f,d}\}_{d=0}^{\infty}$ 满足：

**(a) 非负性：** $w_{f,d} \geq 0$，对所有 $d \geq 0$。

**(b) 零均值约束：** $\mathbb{E}[f] = 0 \implies c_0 = 0 \implies w_{f,0} = 0$。

**(c) 归一化：** $\sum_{d=0}^{\infty} w_{f,d} = 1$。

**(d) Parseval 分解：** $\|f\|^2 = \sum_{d=0}^{\infty}\left(\sum_{|\alpha|=d} c_\alpha^2 \cdot \alpha!\right)$。

**证明：**  
**(a)** 由定义，分子和分母均为非负（平方项之和），故 $w_{f,d} \geq 0$。

**(b)** $c_0 = \langle f, He_0\rangle / 0! = \mathbb{E}[f(z)]$。若 $\mathbb{E}[f] = 0$，则 $c_0 = 0$。由于 $|\alpha| = 0 \iff \alpha = (0,\ldots,0)$，故 $w_{f,0} = 0$。

**(c)** 由 Parseval 恒等式（定理2.4(c)）：
$$\|f\|^2 = \sum_{\alpha} c_\alpha^2 \cdot \alpha! = \sum_{d=0}^{\infty}\left(\sum_{|\alpha|=d} c_\alpha^2 \cdot \alpha!\right)$$

因此：
$$\sum_{d=0}^{\infty} w_{f,d} = \frac{1}{\|f\|^2}\sum_{d=0}^{\infty}\left(\sum_{|\alpha|=d} c_\alpha^2 \cdot \alpha!\right) = 1\quad\square$$

### 4.3 谱权重作为"非线性程度"的度量

**定义 4.3（线性比例）**  
$$\boxed{\rho_{f,1} = w_{f,1}}$$

**命题 4.4（线性比例的几何含义）**  
设 $f(z) = \sum_\alpha c_\alpha He_\alpha(z)$。则：
$$\boxed{\inf_{a \in \mathbb{R}^n, b \in \mathbb{R}}\mathbb{E}\left[(f(z) - a^\top z - b)^2\right] = \|f\|^2 \cdot (1 - w_{f,1})}$$

**证明：**  
令 $L(z) = a^\top z + b$ 为任意仿射函数。则：
$$\begin{aligned} \mathbb{E}[(f(z) - L(z))^2] &= \|f\|^2 + \|L\|^2 - 2\langle f, L\rangle \end{aligned}$$

由于 $He_{(1,0,\ldots,0)} = z_1$，$\ldots$，$He_{(0,\ldots,0)} = 1$：
$$\langle f, z_i\rangle = c_{e_i} \cdot 1! = c_{e_i},\quad \langle f, 1\rangle = c_0$$

其中 $e_i$ 是第 $i$ 个标准基向量。因此：
$$\langle f, L\rangle = \sum_{i=1}^{n} a_i c_{e_i} + b \cdot c_0$$

最优 $a, b$ 使 $\|L\|^2 - 2\langle f,L\rangle$ 最小化。由于 $\|z_i\|^2 = \mathbb{E}[z_i^2] = 1$，且 $z_1, \ldots, z_n$ 两两正交：
$$\|L\|^2 = \sum_{i=1}^{n} a_i^2 + b^2$$

最优解：$a_i = c_{e_i}$，$b = c_0$（若 $c_0 \neq 0$）。此时：
$$\inf_{a,b}\mathbb{E}[(f - L)^2] = \|f\|^2 - \sum_{i=1}^{n} c_{e_i}^2 = \|f\|^2 \cdot (1 - w_{f,1})$$

（因为 $w_{f,1} = \sum_{i=1}^{n} c_{e_i}^2 / \|f\|^2$）$\square$

**推论 4.5：** $w_{f,1} = 1 \iff f$ 是仿射函数（几乎处处）。

**证明：** $w_{f,1} = 1 \implies w_{f,d} = 0$（对所有 $d \neq 1$），即所有高阶 Hermite 成分为零，故 $f(z) = \sum_{i=1}^{n} c_{e_i} z_i + c_0$。$\square$

### 4.4 编码器分量的谱权重（LeJEPA 应用）

**定义 4.6（编码器的谱分解）**  
设编码器 $h: \mathbb{R}^n \to \mathbb{R}^n$，分量 $h_i(z)$ 满足：
- $\mathbb{E}[h_i(z)] = 0$（零均值）
- $\mathbb{E}[h_i(z)^2] = 1$（单位方差）

则 $w_{i,d} := w_{h_i, d}$ 满足：
- $w_{i,0} = 0$（零均值）
- $\sum_d w_{i,d} = 1$（单位方差归一化）
- $w_{i,1}$：第 $i$ 个编码器分量的"线性比例"

**物理意义：**
| 谱权重分布 | 含义 | LeJEPA 中的角色 |
|-----------|------|----------------|
| $w_{i,1} = 1$ | 纯线性：$h_i(z) = \sum_j a_{ij} z_j$ | 最优（贡献相关性 $\rho$）|
| $w_{i,1} < 1$ | 含非线性成分 | 次优（高阶贡献 $\rho^d < \rho$）|
| $w_{i,1} = 0$ | 纯非线性（如二次、三次）| 最差（贡献 $\leq \rho^2$）|

---

## §5 Hermite 多项式与 OU 过程的相关性（定理1的核心引理）

### 5.1 关键不等式

**引理 5.1（单阶 Hermite 的相关性）**  
设 $z, z'$ 由 OU 过程生成：$z' = \rho z + \sqrt{1-\rho^2}\eta$，其中 $z, \eta \sim \mathcal{N}(0,1)$ 独立，$\rho \in (0,1)$。则：

$$\boxed{\mathbb{E}[He_d(z') \cdot He_k(z)] = \delta_{dk} \cdot \rho^d \cdot d!}$$

**证明：**  
首先，$z' = \rho z + \sqrt{1-\rho^2}\eta$。由于 $z, \eta$ 独立且均为标准正态，$(z, z')$ 是联合高斯向量：
$$\begin{pmatrix} z \\ z' \end{pmatrix} \sim \mathcal{N}\left(\begin{pmatrix} 0 \\ 0 \end{pmatrix},\;\Sigma = \begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}\right)$$

因此 $\text{Cov}(z, z') = \rho$。

由多维 Hermite 多项式的性质（或直接计算）：
$$\mathbb{E}[He_d(z') \cdot He_k(z)] = \delta_{dk} \cdot (\text{Cov}(z, z'))^d \cdot d! = \delta_{dk} \cdot \rho^d \cdot d!\quad\square$$

### 5.2 OU 过程对高阶成分的惩罚不等式

**命题 5.2（相关性上界与等号条件）**  
设编码器分量 $h(z)$ 的谱权重为 $\{w_d\}_{d=0}^{\infty}$（满足 $w_0 = 0$，$\sum_d w_d = 1$）。则：

$$\boxed{\mathbb{E}[h(z') \cdot h(z)] = \sum_{d=1}^{\infty} w_d \rho^d \leq \sum_{d=1}^{\infty} w_d \rho = \rho}$$

**等号成立当且仅当 $w_1 = 1$（即 $h$ 为纯线性）。**

**证明：**  
由 Hermite 展开：$h(z) = \sum_\alpha c_\alpha He_\alpha(z)$。由 Mehler 公式（专题 II 将严格证明）：
$$\mathbb{E}[h(z') \cdot h(z)] = \sum_{d=1}^{\infty}\left(\sum_{|\alpha|=d} c_\alpha^2 \cdot d!\right) \rho^d$$

由谱权重定义：$w_d = \sum_{|\alpha|=d} c_\alpha^2 \cdot d!$（因为 $\|h\|^2 = 1$）。因此：
$$\mathbb{E}[h(z') \cdot h(z)] = \sum_{d=1}^{\infty} w_d \rho^d$$

由于 $0 < \rho < 1$，对任意 $d \geq 2$：$\rho^d < \rho$。因此：
$$\sum_{d=1}^{\infty} w_d \rho^d = w_1\rho + \sum_{d=2}^{\infty} w_d \rho^d < w_1\rho + \sum_{d=2}^{\infty} w_d \rho = (w_1 + 1 - w_1)\rho = \rho$$

（严格不等式当且仅当存在某个 $d_0 \geq 2$ 使 $w_{d_0} > 0$。）

等号成立当且仅当对所有 $d \geq 2$，$w_d = 0$。又因 $\sum w_d = 1$ 且 $w_0 = 0$，故 $w_1 = 1$。$\square$

### 5.3 数值示例：不同非线性程度的相关性衰减

设 $\rho = 0.9$，比较不同类型编码器的相关性：

| 编码器类型 | $h(z)$ | $\{w_d\}$ | $\mathbb{E}[h(z')h(z)]$ | 与最优值 $0.9$ 的差距 |
|-----------|--------|----------|----------------------|--------------------|
| 纯线性 | $z$ | $\{0,1,0,\ldots\}$ | $0.9^1 = 0.9$ | $0$（最优）|
| 纯二次 | $\frac{z^2-1}{\sqrt{2}}$ | $\{0,0,1,0,\ldots\}$ | $0.9^2 = 0.81$ | $-0.09$|
| 纯三次 | $\frac{z^3-3z}{\sqrt{6}}$ | $\{0,0,0,1,\ldots\}$ | $0.9^3 = 0.729$ | $-0.171$|
| 混合（5:5） | $\frac{z + (z^2-1)/\sqrt{2}}{\sqrt{1.5}}$ | $\approx\{0, 0.67, 0.33,\ldots\}$ | $0.67 \times 0.9 + 0.33 \times 0.81 = 0.87$ | $-0.03$|

**结论：** 非线性成分越多，相关性越低。LeJEPA 的对齐损失最小化等价于最大化相关性，因此最优编码器会"放弃"所有非线性成分。

---

## §6 与 Lean 4 形式化验证的对应关系

本专题的核心结论在 [`Hermite.lean`](../lejepa-identifiability/lean/LeJEPA/Hermite.lean) 中已得到完整形式化验证（零 `sorry`）：

| 数学结论 | Lean 定理名 | 状态 |
|---------|-----------|------|
| Hermite 递推公式 | `hermite_recurrence` | ✅ 机器验证 |
| Hermite 正交性 | `hermite_orthogonality` | ✅ 机器验证 |
| Mehler 求和公式的可加性 | `mehler_summability` | ✅ 机器验证 |
| 相关性上界 $corr \leq \rho$ | `correlation_le_rho` | ✅ 机器验证 |
| 等号条件迫使一次项 | `equality_forces_degree_one` | ✅ 机器验证 |
| 对齐损失下界 | `loss_lower_bound` | ✅ 机器验证 |

---

## §7 小结与本专题的结论

### 核心定理汇总

1. **Hermite 多项式**（定义1.1）是 $L^2(\mathcal{N}(0,1))$ 的完备正交基
2. **递推公式**（定理1.2）：$He_{n+1}(x) = x \cdot He_n(x) - n \cdot He_{n-1}(x)$
3. **生成函数**（定义1.4）：$\sum_n He_n(x)\frac{t^n}{n!} = e^{xt - t^2/2}$
4. **正交性**（定理3.1）：$\mathbb{E}[He_m(z) He_n(z)] = \delta_{mn} \cdot n!$
5. **谱分解**（定理2.4）：任意 $f \in L^2(\gamma)$ 可唯一展开为 Hermite 级数
6. **谱权重**（定义4.1）：$w_{f,d}$ 度量 $d$ 阶成分的方差占比
7. **OU相关性上界**（命题5.2）：$\mathbb{E}[h(z')h(z)] \leq \rho$，等号 $\iff w_{f,1} = 1$

### 在 LeJEPA 证明中的角色

```
定理1（线性可识别性）的证明：
  
  [步骤1] Hermite展开 h_i(z) = Σ c_α Heₐ(z)     ← 本专题（定理2.4）
        ↓
  [步骤2] Mehler公式计算相关性                      ← 专题II（定理5.1）
        ↓  
  [步骤3] corr_i ≤ ρ，等号 ⟺ w_{i,1} = 1          ← 本专题（命题5.2）
        ↓
  [步骤4] L_align = 2n - 2Σ corr_i ≥ 2(1-ρ)n      ← 代数运算
        ↓
  [步骤5] h_i 纯线性 → h(z) = Az                    ← 本专题（推论4.5）
        ↓
  [步骤6] AA^T = I → A ∈ O(n)                      ← 线性代数
```

---

## ➡️ 下一步

→ [**专题 II：OU 过程与 Mehler 公式的严格推导**](02_ou_process_mehler.md)——深入理解 $\rho^d$ 衰减的来源，完成 Mehler 公式的完整证明

---

## 📖 参考文献与延伸阅读

1. **Mehler 公式原始推导**：Mehler, F.G. (1866). "Über die Entwicklung einer Funktion von beliebig vielen Variablen". *Journal für die reine und angewandte Mathematik*.
2. **Hermite 多项式与 Wiener 混沌**：Nualart, D. (1995). *The Malliavin Calculus and Related Topics*. Springer.
3. **谱方法在表示学习中的应用**：Hyvärinen, A. (2019). "Stochastic Gradient Ascend of Mutual Information". *AISTATS*.
4. **Lean 4 形式化**：[`lejepa-identifiability/lean`](../lejepa-identifiability/lean/)（基于 Mathlib v4.28.0，零 `sorry`）