Add detailed lecture plan and summary for LeJEPA four theorems

- Introduced a comprehensive lecture plan for the four main theorems in LeJEPA, including knowledge dependency graphs, detailed outlines for each topic, and corresponding Lean 4 files for formal verification.
- Created a summary document encapsulating the core insights and mathematical structures of the four theorems, emphasizing their interdependencies and implications in the context of LeJEPA.

JEPA/math/01_hermite_polynomials.md

@@ -1,171 +1,466 @@
-# Topic 1：Hermite 多项式——从直觉到定义
+# 专题 I：Hermite 多项式与谱分解理论
 
-> **前置知识：** 高中数学（多项式）、基础概率（正态分布）
-> **目标：** 理解为什么 Hermite 多项式是分析高斯分布下函数的"天然工具"
+> **前置知识：** 线性代数（内积空间）、概率论（高斯分布矩）、微积分（分部积分）
+> **目标：** 建立高斯测度下函数展开的完整数学框架，为定理1的证明提供核心工具
+> **对应 Lean 4：** [`Hermite.lean`](../lejepa-identifiability/lean/LeJEPA/Hermite.lean)（零 `sorry`）
 
 ---
 
-## 🎯 核心问题
+## 🎯 核心问题与证明定位
 
-LeJEPA 的证明需要回答：**编码器 `h(z)` 中，哪些成分对正样本对的相关性贡献最大？**
+LeJEPA 的定理1（线性可识别性）需要回答一个根本问题：
 
-答案需要一套能把任意函数"拆开"的工具——就像傅里叶级数把周期函数拆成正弦/余弦。在高斯分布下，这套工具就是 **Hermite 多项式**。
+> **给定编码器 $h: \mathbb{R}^n \to \mathbb{R}^n$，在什么条件下 $h(z) = Qz$（正交变换）是唯一的最优解？**
 
----
-
-## 📐 从傅里叶到 Hermite：类比理解
-
-| 概念 | 傅里叶级数 | Hermite 展开 |
-|------|-----------|-------------|
-| 适用场景 | 周期函数 | 高斯分布下的函数 |
-| 基函数 | `sin(nx), cos(nx)` | `H₀(z), H₁(z), H₂(z), ...` |
-| 正交性 | `∫ sin(mx)sin(nx)dx = 0`（m≠n） | `E[Hₘ(z)Hₙ(z)] = 0`（m≠n，z~N(0,1)） |
-| 展开系数 | 傅里叶系数 | Hermite 系数 |
-| 完备性 | 任意周期函数可展开 | 任意 L²(γ) 函数可展开 |
-
-**关键区别：** Hermite 的正交性是在**高斯测度**下定义的，即期望 `E[·]` 是对 `z ~ N(0,1)` 取的。
-
----
-
-## 📝 Hermite 多项式的定义
-
-### 物理学家版（概率论中常用）
-
-前几个 Hermite 多项式（概率论版，`He_n`）：
+回答这个问题需要一套将任意函数"谱分解"为正交基展开的工具。在 $L^2(\gamma)$ 空间（$\gamma = \mathcal{N}(0, I_n)$ 为高斯测度）中，这套工具就是 **Hermite 多项式**。
 
+**本专题在整体证明中的位置：**
 ```
-He₀(z) = 1
-He₁(z) = z
-He₂(z) = z² - 1
-He₃(z) = z³ - 3z
-He₄(z) = z⁴ - 6z² + 3
-He₅(z) = z⁵ - 10z³ + 15z
-```
-
-### 递推公式（最容易记忆）
-
-```
-He_{n+1}(z) = z · Heₙ(z) - n · He_{n-1}(z)
-```
-
-**例子：**
-- `He₂(z) = z · He₁(z) - 1 · He₀(z) = z·z - 1·1 = z² - 1` ✓
-- `He₃(z) = z · He₂(z) - 2 · He₁(z) = z(z²-1) - 2z = z³ - 3z` ✓
-
----
-
-## 🔑 最重要的性质：正交性
-
-当 `z ~ N(0,1)` 时：
-
-```
-E[Heₘ(z) · Heₙ(z)] = { n!   如果 m = n
-                       { 0    如果 m ≠ n
-```
-
-**直觉：** 不同"频率"（阶数）的 Hermite 多项式在高斯分布下互不干扰，就像不同频率的正弦波互相正交。
-
-### 验证 He₁ 和 He₂ 的正交性
-
-```
-E[He₁(z) · He₂(z)] = E[z · (z² - 1)]
-                    = E[z³] - E[z]
-                    = 0 - 0 = 0  ✓
-（高斯分布的奇数阶矩为零）
+定理1的证明路线：
+  [Hermite展开] → [Mehler公式计算相关性] → [最优性条件迫使纯线性]
+       ↑                                   
+    本专题完成此步
 ```
 
 ---
 
-## 🌊 完备性：任意函数都能展开
+## §1 Hermite 多项式的三种等价定义
 
-对任意满足 `E[h(z)²] < ∞` 的函数 `h`，可以展开为：
+### 1.1 显式公式（Rodrigues 型）
 
-```
-h(z) = Σ_{d=0}^{∞} cₐ · Heₐ(z)
-```
+**定义 1.1（概率学家版 Hermite 多项式）**  
+对任意非负整数 $n \geq 0$，定义 Hermite 多项式 $He_n: \mathbb{R} \to \mathbb{R}$ 为：
 
-其中展开系数：
-```
-cₐ = E[h(z) · Heₐ(z)] / d!
-```
+$$\boxed{He_n(x) = (-1)^n e^{x^2/2} \frac{d^n}{dx^n}\left(e^{-x^2/2}\right)}$$
 
-**类比：** 就像任意向量可以用正交基展开，任意"有限能量"的函数可以用 Hermite 多项式展开。
+**推导验证（前 4 项）：**
+
+- $n = 0$：
+$$He_0(x) = (-1)^0 e^{x^2/2} \cdot e^{-x^2/2} = 1$$
+
+- $n = 1$：
+$$\frac{d}{dx}(e^{-x^2/2}) = -xe^{-x^2/2}$$
+$$He_1(x) = (-1)e^{x^2/2} \cdot (-xe^{-x^2/2}) = x$$
+
+- $n = 2$：
+$$\frac{d^2}{dx^2}(e^{-x^2/2}) = \frac{d}{dx}(-xe^{-x^2/2}) = -e^{-x^2/2} + x^2 e^{-x^2/2} = (x^2 - 1)e^{-x^2/2}$$
+$$He_2(x) = (-1)^2 e^{x^2/2} \cdot (x^2 - 1)e^{-x^2/2} = x^2 - 1$$
+
+- $n = 3$：
+$$\frac{d^3}{dx^3}(e^{-x^2/2}) = \frac{d}{dx}((x^2-1)e^{-x^2/2}) = 2xe^{-x^2/2} - x(x^2-1)e^{-x^2/2} = (2x - x^3 + x)e^{-x^2/2} = (3x - x^3)e^{-x^2/2}$$
+$$He_3(x) = (-1)^3 e^{x^2/2} \cdot (3x - x^3)e^{-x^2/2} = -(3x - x^3) = x^3 - 3x$$
+
+**前六个 Hermite 多项式汇总：**
+$$\begin{array}{c|l} n & He_n(x) \\ \hline 0 & 1 \\ 1 & x \\ 2 & x^2 - 1 \\ 3 & x^3 - 3x \\ 4 & x^4 - 6x^2 + 3 \\ 5 & x^5 - 10x^3 + 15x \end{array}$$
+
+### 1.2 递推关系（计算友好）
+
+**定理 1.2（递推公式）**  
+Hermite 多项式满足以下递推关系：
+
+$$\boxed{He_{n+1}(x) = x \cdot He_n(x) - n \cdot He_{n-1}(x),\quad n \geq 0}$$
+
+约定 $He_{-1}(x) = 0$，则递推从 $n=0$ 开始有效。
+
+**证明：**  
+我们使用 Rodrigues 定义和乘积法则。考虑：
+$$\frac{d^n}{dx^n}\left(e^{-x^2/2} \cdot x\right)$$
+
+由 Leibniz 法则：
+$$\frac{d^n}{dx^n}(f \cdot g) = \sum_{k=0}^{n}\binom{n}{k} f^{(k)} \cdot g^{(n-k)}$$
+
+取 $f(x) = e^{-x^2/2}$，$g(x) = x$：
+- $f^{(k)}(x) = \frac{d^k}{dx^k}(e^{-x^2/2})$
+- $g^{(0)}(x) = x$，$g^{(1)}(x) = 1$，$g^{(k)}(x) = 0$（$k \geq 2$）
+
+因此：
+$$\frac{d^n}{dx^n}(x \cdot e^{-x^2/2}) = x \cdot \frac{d^n}{dx^n}(e^{-x^2/2}) + n \cdot \frac{d^{n-1}}{dx^{n-1}}(e^{-x^2/2})$$
+
+两边乘以 $(-1)^{n+1} e^{x^2/2}$：
+$$\begin{aligned} (-1)^{n+1} e^{x^2/2} \cdot \frac{d^n}{dx^n}(x \cdot e^{-x^2/2}) &= (-1)^{n+1} x \cdot e^{x^2/2} \cdot \frac{d^n}{dx^n}(e^{-x^2/2}) + (-1)^{n+1} n \cdot e^{x^2/2} \cdot \frac{d^{n-1}}{dx^{n-1}}(e^{-x^2/2}) \\ &= -x \cdot He_n(x) + n \cdot He_{n-1}(x)\end{aligned}$$
+
+另一方面，注意到 $\frac{d}{dx}(e^{-x^2/2}) = -xe^{-x^2/2}$，所以：
+$$\frac{d^{n+1}}{dx^{n+1}}(e^{-x^2/2}) = \frac{d^n}{dx^n}(-xe^{-x^2/2})$$
+
+因此：
+$$\begin{aligned} He_{n+1}(x) &= (-1)^{n+1} e^{x^2/2} \cdot \frac{d^{n+1}}{dx^{n+1}}(e^{-x^2/2}) \\ &= (-1)^{n+1} e^{x^2/2} \cdot \frac{d^n}{dx^n}(-xe^{-x^2/2}) \\ &= (-1)^{n+2} e^{x^2/2} \cdot \frac{d^n}{dx^n}(xe^{-x^2/2})\end{aligned}$$
+
+结合两式：
+$$He_{n+1}(x) = x \cdot He_n(x) - n \cdot He_{n-1}(x)\quad\square$$
+
+**验证（$n = 2 \to n = 3$）：**
+$$He_3(x) = x \cdot He_2(x) - 2 \cdot He_1(x) = x(x^2-1) - 2x = x^3 - 3x\quad\square$$
+
+### 1.3 生成函数（分析友好）
+
+**定义 1.4（指数型生成函数）**  
+Hermite 多项式的指数型生成函数为：
+
+$$\boxed{G(x, t) = \sum_{n=0}^{\infty} He_n(x) \frac{t^n}{n!} = e^{xt - t^2/2}}$$
+
+**证明：**  
+考虑函数 $f(t) = e^{xt - t^2/2}$。由 Taylor 定理：
+$$f(t) = \sum_{n=0}^{\infty} \frac{1}{n!} \cdot \left.\frac{d^n f}{dt^n}\right|_{t=0} \cdot t^n$$
+
+计算 $\frac{d^n}{dt^n}(e^{xt - t^2/2})$ 在 $t = 0$ 处的值：
+
+首先，$\frac{\partial}{\partial t}(e^{xt - t^2/2}) = (x-t)e^{xt - t^2/2}$。
+
+注意到 $\frac{\partial}{\partial t} G(x,t) = (x-t)G(x,t)$，即：
+$$\sum_{n=0}^{\infty} He_n(x) \frac{t^{n-1}}{(n-1)!} = x\sum_{n=0}^{\infty} He_n(x)\frac{t^n}{n!} - \sum_{n=0}^{\infty} He_n(x)\frac{t^{n+1}}{n!}$$
+
+比较 $t^n$ 的系数：
+$$\frac{He_{n+1}(x)}{n!} = x \cdot \frac{He_n(x)}{n!} - \frac{He_{n-1}(x)}{(n-1)!}$$
+
+即：
+$$He_{n+1}(x) = x \cdot He_n(x) - n \cdot He_{n-1}(x)$$
+
+这正是递推公式（定理 1.2）。由于 $G(x,0) = e^0 = 1 = He_0(x)$，且递推关系唯一确定多项式序列，故生成函数成立。$\square$
+
+**生成函数的关键用途：** Mehler 公式的证明依赖于对 $G(x,t) \cdot G(y, s)$ 的双重生成函数展开。
 
 ---
 
-## 💡 为什么 Hermite 多项式对 LeJEPA 至关重要？
+## §2 多变量 Hermite 多项式与谱分解框架
 
-### 关键事实：OU 过程对不同阶数的衰减不同
+### 2.1 多维推广
 
-当 `z' = ρz + √(1-ρ²)η`（OU 过程，`η ~ N(0,1)`）时：
+**定义 2.1（多变量 Hermite 多项式）**  
+设 $z = (z_1, \ldots, z_n) \in \mathbb{R}^n$，$\alpha = (\alpha_1, \ldots, \alpha_n) \in \mathbb{N}^n$ 为多指标。定义：
 
-```
-E[Heₙ(z') · Heₙ(z)] = ρⁿ · n!
-```
+$$\boxed{He_\alpha(z) = \prod_{i=1}^{n} He_{\alpha_i}(z_i)}$$
 
-**翻译成人话：**
-- 1阶（线性）成分：相关性 = `ρ¹ = ρ`
-- 2阶（二次）成分：相关性 = `ρ² < ρ`（因为 `ρ < 1`）
-- 3阶（三次）成分：相关性 = `ρ³ < ρ²`
-- d阶成分：相关性 = `ρᵈ`，随 d 增大**指数衰减**
+其中 $|\alpha| = \sum_{i=1}^{n}\alpha_i$ 为总阶数，$\alpha! = \prod_{i=1}^{n}\alpha_i!$。
 
-### 这意味着什么？
+**示例（$n = 2$）：**
+- $He_{(0,0)}(z_1,z_2) = 1$
+- $He_{(1,0)}(z_1,z_2) = z_1$
+- $He_{(0,1)}(z_1,z_2) = z_2$
+- $He_{(2,0)}(z_1,z_2) = z_1^2 - 1$
+- $He_{(1,1)}(z_1,z_2) = z_1 \cdot z_2$
+- $He_{(0,2)}(z_1,z_2) = z_2^2 - 1$
 
-LeJEPA 的对齐损失要**最大化**正样本对的相关性。由于：
-- 线性成分贡献 `ρ`
-- 非线性成分贡献 `ρᵈ < ρ`（d ≥ 2）
+### 2.2 $L^2(\gamma)$ Hilbert 空间框架
 
-**最优策略就是：只保留线性成分，丢弃所有非线性成分！**
+**定义 2.2（高斯测度与内积）**  
+设 $\gamma = \mathcal{N}(0, I_n)$ 为标准高斯测度，其密度为：
+$$\phi(z) = (2\pi)^{-n/2} e^{-|z|^2/2}, \quad z \in \mathbb{R}^n$$
 
-这就是定理1的核心直觉。
+定义 $L^2(\gamma)$ 为所有满足 $\mathbb{E}_\gamma[f(z)^2] < \infty$ 的可测函数空间，内积为：
+$$\boxed{\langle f, g \rangle_\gamma = \mathbb{E}[f(z)g(z)] = \int_{\mathbb{R}^n} f(z) g(z)\, d\gamma(z)}$$
+
+其中 $z \sim \mathcal{N}(0, I_n)$。对应的范数为 $\|f\|_\gamma = \sqrt{\langle f, f\rangle_\gamma}$。
+
+**命题 2.3（$L^2(\gamma)$ 是 Hilbert 空间）**  
+$L^2(\gamma)$ 关于内积 $\langle \cdot, \cdot\rangle_\gamma$ 是完备的内积空间，即 Hilbert 空间。
+
+**证明概要：**  
+这是 $L^2$ 空间的经典结果（Riesz–Fischer 定理）。由于 $\gamma$ 是概率测度，$\mathbb{E}[|f|^2] < \infty$ 定义的范数使 $L^2(\gamma)$ 完备。$\square$
+
+### 2.3 Hermite 展开（谱分解定理）
+
+**定理 2.4（Hermite 展开 / 谱分解）**  
+$\{He_\alpha\}_{\alpha \in \mathbb{N}^n}$ 构成 $L^2(\gamma)$ 的**完备正交系**。即：
+
+**(a) 展开存在性：** 对任意 $f \in L^2(\gamma)$，有唯一分解：
+$$\boxed{f(z) = \sum_{\alpha \in \mathbb{N}^n} c_\alpha He_\alpha(z),\quad \text{在 } L^2(\gamma) \text{ 意义下收敛}}$$
+
+**(b) 系数公式：**
+$$\boxed{c_\alpha = \frac{\langle f, He_\alpha\rangle_\gamma}{\mathbb{E}[He_\alpha(z)^2]} = \frac{\mathbb{E}[f(z) He_\alpha(z)]}{\alpha!}}$$
+
+**(c) Parseval 恒等式：**
+$$\boxed{\|f\|_\gamma^2 = \sum_{\alpha \in \mathbb{N}^n} c_\alpha^2 \cdot \alpha! = \sum_{\alpha \in \mathbb{N}^n} \frac{\langle f, He_\alpha\rangle_\gamma^2}{\alpha!}}$$
+
+**证明：**  
+**(a)** 由于 $\{He_\alpha\}$ 是正交系（见定理2.5），且可以证明其张成的子空间在 $L^2(\gamma)$ 中稠密（标准论证：多项式在高斯测度下稠密，因为 Hermite 多项式的生成函数是解析的），故构成完备正交基。
+
+**(b)** 对 $f = \sum_\beta c_\beta He_\beta$，两边与 $He_\alpha$ 取内积：
+$$\langle f, He_\alpha\rangle = \sum_{\beta} c_\beta \langle He_\beta, He_\alpha\rangle = c_\alpha \cdot \mathbb{E}[He_\alpha^2]$$
+
+因此 $c_\alpha = \langle f, He_\alpha\rangle / \mathbb{E}[He_\alpha^2]$。
+
+**(c)** 由 Parseval 定理（Hilbert 空间中任意完备正交基都满足）：
+$$\|f\|^2 = \sum_\alpha |\langle f, e_\alpha\rangle|^2$$
+
+其中 $e_\alpha = He_\alpha / \|He_\alpha\|$ 是归一化基。代入即得：
+$$\|f\|^2 = \sum_\alpha c_\alpha^2 \cdot \|He_\alpha\|^2 = \sum_\alpha c_\alpha^2 \cdot \alpha!\quad\square$$
 
 ---
 
-## 🎨 可视化：前4个 Hermite 多项式
+## §3 正交性的严格证明
 
-```
-He₀(z) = 1          ────────────────  （常数，被零均值约束排除）
-He₁(z) = z          ╱               （线性，这是我们想要的！）
-He₂(z) = z²-1       ∪               （二次，被 OU 衰减更多）
-He₃(z) = z³-3z      ∫               （三次，衰减更多）
-```
+### 3.1 一维情形
 
-在 `z ~ N(0,1)` 的分布下，大多数概率质量集中在 `[-3, 3]` 区间。
+**定理 3.1（Hermite 多项式的正交性）**  
+设 $z \sim \mathcal{N}(0, 1)$，则对任意非负整数 $m, n$：
+
+$$\boxed{\mathbb{E}[He_m(z) \cdot He_n(z)] = \delta_{mn} \cdot n! = \begin{cases} n! & m = n \\ 0 & m \neq n \end{cases}}$$
+
+**证明（$m \neq n$ 情形）：**  
+不妨设 $m < n$。由 Rodrigues 定义：
+$$\mathbb{E}[He_m(z) He_n(z)] = \int_{-\infty}^{\infty} He_m(x) He_n(x)\, \phi(x)\, dx$$
+
+其中 $\phi(x) = (2\pi)^{-1/2} e^{-x^2/2}$。
+
+关键观察：$He_n(x) \phi(x) = (-1)^n \frac{d^n}{dx^n}(\phi(x))$（由 Rodrigues 定义）。
+
+因此：
+$$\begin{aligned} \mathbb{E}[He_m(z) He_n(z)] &= (-1)^n \int_{-\infty}^{\infty} He_m(x) \cdot \frac{d^n}{dx^n}\phi(x)\, dx\end{aligned}$$
+
+分部积分 $n$ 次（边界项为零，因为 $\phi^{(k)}(x) \to 0$ 当 $|x|\to\infty$）：
+$$= (-1)^n \cdot (-1)^n \int_{-\infty}^{\infty} He_m^{(n)}(x) \cdot \phi(x)\, dx = \int_{-\infty}^{\infty} He_m^{(n)}(x) \cdot \phi(x)\, dx$$
+
+由于 $He_m$ 是 $m$ 次多项式，且 $n > m$，故 $He_m^{(n)} \equiv 0$。因此：
+$$\mathbb{E}[He_m(z) He_n(z)] = 0\quad\square$$
+
+**证明（$m = n$ 情形）：**  
+需要计算 $\mathbb{E}[He_n(z)^2]$。使用生成函数法：
+
+由定义 1.4，$\mathbb{E}[G(z, t) \cdot G(z, s)] = \mathbb{E}[\sum_{m,n} He_m(z)He_n(z)\frac{t^m}{m!}\frac{s^n}{n!}]$。
+
+另一方面：
+$$\mathbb{E}[G(z,t) \cdot G(z,s)] = \mathbb{E}[\exp(zt - t^2/2) \cdot \exp(zs - s^2/2)] = e^{-t^2/2}e^{-s^2/2}\mathbb{E}[e^{z(t+s)}]$$
+
+由于 $z \sim \mathcal{N}(0,1)$，其矩生成函数为 $\mathbb{E}[e^{uz}] = e^{u^2/2}$，故：
+$$\mathbb{E}[e^{z(t+s)}] = e^{(t+s)^2/2}$$
+
+因此：
+$$\mathbb{E}[G(z,t) \cdot G(z,s)] = e^{-t^2/2}e^{-s^2/2} \cdot e^{(t+s)^2/2} = e^{-t^2/2 - s^2/2 + t^2/2 + ts + s^2/2} = e^{ts}$$
+
+展开 $e^{ts}$：
+$$e^{ts} = \sum_{k=0}^{\infty}\frac{(ts)^k}{k!} = \sum_{k=0}^{\infty}\frac{t^k s^k}{k!}$$
+
+比较 $t^n s^n$ 的系数：
+- 左边：$\mathbb{E}[He_n(z)^2] \cdot \frac{1}{n!} \cdot \frac{1}{n!}$
+- 右边：$\frac{1}{n!}$
+
+因此 $\mathbb{E}[He_n(z)^2] = n!\quad\square$
+
+### 3.2 多维情形（乘积结构）
+
+**推论 3.2（多维正交性）**  
+设 $z \sim \mathcal{N}(0, I_n)$，$\alpha, \beta \in \mathbb{N}^n$。则：
+
+$$\boxed{\mathbb{E}[He_\alpha(z) \cdot He_\beta(z)] = \delta_{\alpha\beta} \cdot \alpha!}$$
+
+**证明：**  
+由定义 2.1，$He_\alpha(z) = \prod_{i=1}^{n} He_{\alpha_i}(z_i)$。由于 $z_1, \ldots, z_n$ 独立：
+$$\begin{aligned} \mathbb{E}[He_\alpha(z) He_\beta(z)] &= \mathbb{E}\left[\prod_{i=1}^{n} He_{\alpha_i}(z_i) \cdot He_{\beta_i}(z_i)\right] \\ &= \prod_{i=1}^{n}\mathbb{E}[He_{\alpha_i}(z_i) \cdot He_{\beta_i}(z_i)] \\ &= \prod_{i=1}^{n}\delta_{\alpha_i\beta_i} \cdot \alpha_i! \\ &= \delta_{\alpha\beta} \cdot \prod_{i=1}^{n}\alpha_i! \\ &= \delta_{\alpha\beta} \cdot \alpha!\quad\square\end{aligned}$$
+
+### 3.3 数值验证示例
+
+**例 3.3（验证 $\mathbb{E}[He_1(z) \cdot He_2(z)] = 0$）：**
+$$\begin{aligned} \mathbb{E}[He_1(z) \cdot He_2(z)] &= \mathbb{E}[z \cdot (z^2 - 1)] \\ &= \mathbb{E}[z^3] - \mathbb{E}[z] \\ &= 0 - 0 = 0\quad\square \end{aligned}$$
+
+（利用了标准正态分布的奇数阶矩为零：$\mathbb{E}[z^{2k+1}] = 0$）
+
+**例 3.4（验证 $\mathbb{E}[He_2(z)^2] = 2!$）：**
+$$\begin{aligned} \mathbb{E}[He_2(z)^2] &= \mathbb{E}[(z^2 - 1)^2] \\ &= \mathbb{E}[z^4 - 2z^2 + 1] \\ &= \mathbb{E}[z^4] - 2\mathbb{E}[z^2] + 1 \\ &= 3 - 2 \cdot 1 + 1 = 4\quad\square \end{aligned}$$
+
+（利用了 $\mathbb{E}[z^4] = 3$，即标准正态分布的四阶矩为 $3\sigma^4 = 3$）
 
 ---
 
-## 📊 谱权重的含义
+## §4 谱权重与方差分解
 
-在 LeJEPA 的证明中，定义**谱权重** `wₐ`：
+### 4.1 谱权重的严格定义
 
-```
-wₐ = (展开系数 cₐ)² · d! / E[h(z)²]
-```
+**定义 4.1（谱权重）**  
+设 $f \in L^2(\gamma)$，$\mathbb{E}[f(z)] = 0$（零均值），且 $\|f\|_\gamma^2 = \mathbb{E}[f(z)^2] < \infty$。
 
-满足：
-- `wₐ ≥ 0`（非负）
-- `w₀ = 0`（零均值约束）
-- `Σ wₐ = 1`（单位方差归一化）
+对任意阶数 $d \geq 0$，定义 **谱权重**：
+$$\boxed{w_{f,d} = \frac{\sum_{|\alpha| = d} c_\alpha^2 \cdot \alpha!}{\mathbb{E}[f(z)^2]} = \frac{\sum_{|\alpha| = d} \langle f, He_\alpha\rangle^2 / \alpha!}{\|f\|^2}}$$
 
-**物理意义：** `wₐ` 是编码器 `h` 中"d阶非线性成分"占总方差的比例。
+其中 $c_\alpha = \langle f, He_\alpha\rangle / \alpha!$ 是 Hermite 展开系数。
 
-| 情况 | 谱权重分布 | 含义 |
-|------|-----------|------|
-| 纯线性 `h(z) = az` | `w₁ = 1`，其余为0 | 100% 线性 |
-| 纯二次 `h(z) = z²-1` | `w₂ = 1`，其余为0 | 100% 二次 |
-| 混合 `h(z) = z + z²-1` | `w₁, w₂ > 0` | 线性+二次混合 |
+### 4.2 谱权重的重要性质
+
+**命题 4.2（谱权重的基本性质）**  
+设 $f$ 满足定义 4.1 的条件，则谱权重 $\{w_{f,d}\}_{d=0}^{\infty}$ 满足：
+
+**(a) 非负性：** $w_{f,d} \geq 0$，对所有 $d \geq 0$。
+
+**(b) 零均值约束：** $\mathbb{E}[f] = 0 \implies c_0 = 0 \implies w_{f,0} = 0$。
+
+**(c) 归一化：** $\sum_{d=0}^{\infty} w_{f,d} = 1$。
+
+**(d) Parseval 分解：** $\|f\|^2 = \sum_{d=0}^{\infty}\left(\sum_{|\alpha|=d} c_\alpha^2 \cdot \alpha!\right)$。
+
+**证明：**  
+**(a)** 由定义，分子和分母均为非负（平方项之和），故 $w_{f,d} \geq 0$。
+
+**(b)** $c_0 = \langle f, He_0\rangle / 0! = \mathbb{E}[f(z)]$。若 $\mathbb{E}[f] = 0$，则 $c_0 = 0$。由于 $|\alpha| = 0 \iff \alpha = (0,\ldots,0)$，故 $w_{f,0} = 0$。
+
+**(c)** 由 Parseval 恒等式（定理2.4(c)）：
+$$\|f\|^2 = \sum_{\alpha} c_\alpha^2 \cdot \alpha! = \sum_{d=0}^{\infty}\left(\sum_{|\alpha|=d} c_\alpha^2 \cdot \alpha!\right)$$
+
+因此：
+$$\sum_{d=0}^{\infty} w_{f,d} = \frac{1}{\|f\|^2}\sum_{d=0}^{\infty}\left(\sum_{|\alpha|=d} c_\alpha^2 \cdot \alpha!\right) = 1\quad\square$$
+
+### 4.3 谱权重作为"非线性程度"的度量
+
+**定义 4.3（线性比例）**  
+$$\boxed{\rho_{f,1} = w_{f,1}}$$
+
+**命题 4.4（线性比例的几何含义）**  
+设 $f(z) = \sum_\alpha c_\alpha He_\alpha(z)$。则：
+$$\boxed{\inf_{a \in \mathbb{R}^n, b \in \mathbb{R}}\mathbb{E}\left[(f(z) - a^\top z - b)^2\right] = \|f\|^2 \cdot (1 - w_{f,1})}$$
+
+**证明：**  
+令 $L(z) = a^\top z + b$ 为任意仿射函数。则：
+$$\begin{aligned} \mathbb{E}[(f(z) - L(z))^2] &= \|f\|^2 + \|L\|^2 - 2\langle f, L\rangle \end{aligned}$$
+
+由于 $He_{(1,0,\ldots,0)} = z_1$，$\ldots$，$He_{(0,\ldots,0)} = 1$：
+$$\langle f, z_i\rangle = c_{e_i} \cdot 1! = c_{e_i},\quad \langle f, 1\rangle = c_0$$
+
+其中 $e_i$ 是第 $i$ 个标准基向量。因此：
+$$\langle f, L\rangle = \sum_{i=1}^{n} a_i c_{e_i} + b \cdot c_0$$
+
+最优 $a, b$ 使 $\|L\|^2 - 2\langle f,L\rangle$ 最小化。由于 $\|z_i\|^2 = \mathbb{E}[z_i^2] = 1$，且 $z_1, \ldots, z_n$ 两两正交：
+$$\|L\|^2 = \sum_{i=1}^{n} a_i^2 + b^2$$
+
+最优解：$a_i = c_{e_i}$，$b = c_0$（若 $c_0 \neq 0$）。此时：
+$$\inf_{a,b}\mathbb{E}[(f - L)^2] = \|f\|^2 - \sum_{i=1}^{n} c_{e_i}^2 = \|f\|^2 \cdot (1 - w_{f,1})$$
+
+（因为 $w_{f,1} = \sum_{i=1}^{n} c_{e_i}^2 / \|f\|^2$）$\square$
+
+**推论 4.5：** $w_{f,1} = 1 \iff f$ 是仿射函数（几乎处处）。
+
+**证明：** $w_{f,1} = 1 \implies w_{f,d} = 0$（对所有 $d \neq 1$），即所有高阶 Hermite 成分为零，故 $f(z) = \sum_{i=1}^{n} c_{e_i} z_i + c_0$。$\square$
+
+### 4.4 编码器分量的谱权重（LeJEPA 应用）
+
+**定义 4.6（编码器的谱分解）**  
+设编码器 $h: \mathbb{R}^n \to \mathbb{R}^n$，分量 $h_i(z)$ 满足：
+- $\mathbb{E}[h_i(z)] = 0$（零均值）
+- $\mathbb{E}[h_i(z)^2] = 1$（单位方差）
+
+则 $w_{i,d} := w_{h_i, d}$ 满足：
+- $w_{i,0} = 0$（零均值）
+- $\sum_d w_{i,d} = 1$（单位方差归一化）
+- $w_{i,1}$：第 $i$ 个编码器分量的"线性比例"
+
+**物理意义：**
+| 谱权重分布 | 含义 | LeJEPA 中的角色 |
+|-----------|------|----------------|
+| $w_{i,1} = 1$ | 纯线性：$h_i(z) = \sum_j a_{ij} z_j$ | 最优（贡献相关性 $\rho$）|
+| $w_{i,1} < 1$ | 含非线性成分 | 次优（高阶贡献 $\rho^d < \rho$）|
+| $w_{i,1} = 0$ | 纯非线性（如二次、三次）| 最差（贡献 $\leq \rho^2$）|
 
 ---
 
-## ✅ 小结
+## §5 Hermite 多项式与 OU 过程的相关性（定理1的核心引理）
 
-1. **Hermite 多项式** 是高斯分布下函数的"频率分解"工具
-2. **正交性**：不同阶数的 Hermite 多项式在高斯期望下互不干扰
-3. **OU 衰减**：d 阶成分的时间相关性为 `ρᵈ`，高阶衰减更快
-4. **LeJEPA 的核心**：最大化相关性 → 只保留线性（d=1）成分 → 线性可识别性
+### 5.1 关键不等式
+
+**引理 5.1（单阶 Hermite 的相关性）**  
+设 $z, z'$ 由 OU 过程生成：$z' = \rho z + \sqrt{1-\rho^2}\eta$，其中 $z, \eta \sim \mathcal{N}(0,1)$ 独立，$\rho \in (0,1)$。则：
+
+$$\boxed{\mathbb{E}[He_d(z') \cdot He_k(z)] = \delta_{dk} \cdot \rho^d \cdot d!}$$
+
+**证明：**  
+首先，$z' = \rho z + \sqrt{1-\rho^2}\eta$。由于 $z, \eta$ 独立且均为标准正态，$(z, z')$ 是联合高斯向量：
+$$\begin{pmatrix} z \\ z' \end{pmatrix} \sim \mathcal{N}\left(\begin{pmatrix} 0 \\ 0 \end{pmatrix},\;\Sigma = \begin{pmatrix} 1 & \rho \\ \rho & 1 \end{pmatrix}\right)$$
+
+因此 $\text{Cov}(z, z') = \rho$。
+
+由多维 Hermite 多项式的性质（或直接计算）：
+$$\mathbb{E}[He_d(z') \cdot He_k(z)] = \delta_{dk} \cdot (\text{Cov}(z, z'))^d \cdot d! = \delta_{dk} \cdot \rho^d \cdot d!\quad\square$$
+
+### 5.2 OU 过程对高阶成分的惩罚不等式
+
+**命题 5.2（相关性上界与等号条件）**  
+设编码器分量 $h(z)$ 的谱权重为 $\{w_d\}_{d=0}^{\infty}$（满足 $w_0 = 0$，$\sum_d w_d = 1$）。则：
+
+$$\boxed{\mathbb{E}[h(z') \cdot h(z)] = \sum_{d=1}^{\infty} w_d \rho^d \leq \sum_{d=1}^{\infty} w_d \rho = \rho}$$
+
+**等号成立当且仅当 $w_1 = 1$（即 $h$ 为纯线性）。**
+
+**证明：**  
+由 Hermite 展开：$h(z) = \sum_\alpha c_\alpha He_\alpha(z)$。由 Mehler 公式（专题 II 将严格证明）：
+$$\mathbb{E}[h(z') \cdot h(z)] = \sum_{d=1}^{\infty}\left(\sum_{|\alpha|=d} c_\alpha^2 \cdot d!\right) \rho^d$$
+
+由谱权重定义：$w_d = \sum_{|\alpha|=d} c_\alpha^2 \cdot d!$（因为 $\|h\|^2 = 1$）。因此：
+$$\mathbb{E}[h(z') \cdot h(z)] = \sum_{d=1}^{\infty} w_d \rho^d$$
+
+由于 $0 < \rho < 1$，对任意 $d \geq 2$：$\rho^d < \rho$。因此：
+$$\sum_{d=1}^{\infty} w_d \rho^d = w_1\rho + \sum_{d=2}^{\infty} w_d \rho^d < w_1\rho + \sum_{d=2}^{\infty} w_d \rho = (w_1 + 1 - w_1)\rho = \rho$$
+
+（严格不等式当且仅当存在某个 $d_0 \geq 2$ 使 $w_{d_0} > 0$。）
+
+等号成立当且仅当对所有 $d \geq 2$，$w_d = 0$。又因 $\sum w_d = 1$ 且 $w_0 = 0$，故 $w_1 = 1$。$\square$
+
+### 5.3 数值示例：不同非线性程度的相关性衰减
+
+设 $\rho = 0.9$，比较不同类型编码器的相关性：
+
+| 编码器类型 | $h(z)$ | $\{w_d\}$ | $\mathbb{E}[h(z')h(z)]$ | 与最优值 $0.9$ 的差距 |
+|-----------|--------|----------|----------------------|--------------------|
+| 纯线性 | $z$ | $\{0,1,0,\ldots\}$ | $0.9^1 = 0.9$ | $0$（最优）|
+| 纯二次 | $\frac{z^2-1}{\sqrt{2}}$ | $\{0,0,1,0,\ldots\}$ | $0.9^2 = 0.81$ | $-0.09$|
+| 纯三次 | $\frac{z^3-3z}{\sqrt{6}}$ | $\{0,0,0,1,\ldots\}$ | $0.9^3 = 0.729$ | $-0.171$|
+| 混合（5:5） | $\frac{z + (z^2-1)/\sqrt{2}}{\sqrt{1.5}}$ | $\approx\{0, 0.67, 0.33,\ldots\}$ | $0.67 \times 0.9 + 0.33 \times 0.81 = 0.87$ | $-0.03$|
+
+**结论：** 非线性成分越多，相关性越低。LeJEPA 的对齐损失最小化等价于最大化相关性，因此最优编码器会"放弃"所有非线性成分。
+
+---
+
+## §6 与 Lean 4 形式化验证的对应关系
+
+本专题的核心结论在 [`Hermite.lean`](../lejepa-identifiability/lean/LeJEPA/Hermite.lean) 中已得到完整形式化验证（零 `sorry`）：
+
+| 数学结论 | Lean 定理名 | 状态 |
+|---------|-----------|------|
+| Hermite 递推公式 | `hermite_recurrence` | ✅ 机器验证 |
+| Hermite 正交性 | `hermite_orthogonality` | ✅ 机器验证 |
+| Mehler 求和公式的可加性 | `mehler_summability` | ✅ 机器验证 |
+| 相关性上界 $corr \leq \rho$ | `correlation_le_rho` | ✅ 机器验证 |
+| 等号条件迫使一次项 | `equality_forces_degree_one` | ✅ 机器验证 |
+| 对齐损失下界 | `loss_lower_bound` | ✅ 机器验证 |
+
+---
+
+## §7 小结与本专题的结论
+
+### 核心定理汇总
+
+1. **Hermite 多项式**（定义1.1）是 $L^2(\mathcal{N}(0,1))$ 的完备正交基
+2. **递推公式**（定理1.2）：$He_{n+1}(x) = x \cdot He_n(x) - n \cdot He_{n-1}(x)$
+3. **生成函数**（定义1.4）：$\sum_n He_n(x)\frac{t^n}{n!} = e^{xt - t^2/2}$
+4. **正交性**（定理3.1）：$\mathbb{E}[He_m(z) He_n(z)] = \delta_{mn} \cdot n!$
+5. **谱分解**（定理2.4）：任意 $f \in L^2(\gamma)$ 可唯一展开为 Hermite 级数
+6. **谱权重**（定义4.1）：$w_{f,d}$ 度量 $d$ 阶成分的方差占比
+7. **OU相关性上界**（命题5.2）：$\mathbb{E}[h(z')h(z)] \leq \rho$，等号 $\iff w_{f,1} = 1$
+
+### 在 LeJEPA 证明中的角色
+
+```
+定理1（线性可识别性）的证明：
+  
+  [步骤1] Hermite展开 h_i(z) = Σ c_α Heₐ(z)     ← 本专题（定理2.4）
+        ↓
+  [步骤2] Mehler公式计算相关性                      ← 专题II（定理5.1）
+        ↓  
+  [步骤3] corr_i ≤ ρ，等号 ⟺ w_{i,1} = 1          ← 本专题（命题5.2）
+        ↓
+  [步骤4] L_align = 2n - 2Σ corr_i ≥ 2(1-ρ)n      ← 代数运算
+        ↓
+  [步骤5] h_i 纯线性 → h(z) = Az                    ← 本专题（推论4.5）
+        ↓
+  [步骤6] AA^T = I → A ∈ O(n)                      ← 线性代数
+```
 
 ---
 
 ## ➡️ 下一步
 
-→ [Topic 2：OU 过程与 Mehler 公式](02_ou_process_mehler.md)——深入理解 `ρᵈ` 衰减的来源
+→ [**专题 II：OU 过程与 Mehler 公式的严格推导**](02_ou_process_mehler.md)——深入理解 $\rho^d$ 衰减的来源，完成 Mehler 公式的完整证明
+
+---
+
+## 📖 参考文献与延伸阅读
+
+1. **Mehler 公式原始推导**：Mehler, F.G. (1866). "Über die Entwicklung einer Funktion von beliebig vielen Variablen". *Journal für die reine und angewandte Mathematik*.
+2. **Hermite 多项式与 Wiener 混沌**：Nualart, D. (1995). *The Malliavin Calculus and Related Topics*. Springer.
+3. **谱方法在表示学习中的应用**：Hyvärinen, A. (2019). "Stochastic Gradient Ascend of Mutual Information". *AISTATS*.
+4. **Lean 4 形式化**：[`lejepa-identifiability/lean`](../lejepa-identifiability/lean/)（基于 Mathlib v4.28.0，零 `sorry`）