gaojie
4.9 KiB
4.9 KiB
Topic 1：Hermite 多项式——从直觉到定义
前置知识： 高中数学（多项式）、基础概率（正态分布） 目标： 理解为什么 Hermite 多项式是分析高斯分布下函数的"天然工具"
🎯 核心问题
LeJEPA 的证明需要回答：编码器 h(z) 中，哪些成分对正样本对的相关性贡献最大？
答案需要一套能把任意函数"拆开"的工具——就像傅里叶级数把周期函数拆成正弦/余弦。在高斯分布下，这套工具就是 Hermite 多项式。
📐 从傅里叶到 Hermite：类比理解
| 概念 | 傅里叶级数 | Hermite 展开 |
|---|---|---|
| 适用场景 | 周期函数 | 高斯分布下的函数 |
| 基函数 | sin(nx), cos(nx) |
H₀(z), H₁(z), H₂(z), ... |
| 正交性 | ∫ sin(mx)sin(nx)dx = 0（m≠n） |
E[Hₘ(z)Hₙ(z)] = 0（m≠n，z~N(0,1)） |
| 展开系数 | 傅里叶系数 | Hermite 系数 |
| 完备性 | 任意周期函数可展开 | 任意 L²(γ) 函数可展开 |
关键区别： Hermite 的正交性是在高斯测度下定义的，即期望 E[·] 是对 z ~ N(0,1) 取的。
📝 Hermite 多项式的定义
物理学家版（概率论中常用）
前几个 Hermite 多项式（概率论版，He_n）：
He₀(z) = 1
He₁(z) = z
He₂(z) = z² - 1
He₃(z) = z³ - 3z
He₄(z) = z⁴ - 6z² + 3
He₅(z) = z⁵ - 10z³ + 15z
递推公式（最容易记忆）
He_{n+1}(z) = z · Heₙ(z) - n · He_{n-1}(z)
例子：
He₂(z) = z · He₁(z) - 1 · He₀(z) = z·z - 1·1 = z² - 1✓He₃(z) = z · He₂(z) - 2 · He₁(z) = z(z²-1) - 2z = z³ - 3z✓
🔑 最重要的性质：正交性
当 z ~ N(0,1) 时：
E[Heₘ(z) · Heₙ(z)] = { n! 如果 m = n
{ 0 如果 m ≠ n
直觉： 不同"频率"（阶数）的 Hermite 多项式在高斯分布下互不干扰，就像不同频率的正弦波互相正交。
验证 He₁ 和 He₂ 的正交性
E[He₁(z) · He₂(z)] = E[z · (z² - 1)]
= E[z³] - E[z]
= 0 - 0 = 0 ✓
（高斯分布的奇数阶矩为零）
🌊 完备性：任意函数都能展开
对任意满足 E[h(z)²] < ∞ 的函数 h，可以展开为：
h(z) = Σ_{d=0}^{∞} cₐ · Heₐ(z)
其中展开系数：
cₐ = E[h(z) · Heₐ(z)] / d!
类比： 就像任意向量可以用正交基展开，任意"有限能量"的函数可以用 Hermite 多项式展开。
💡 为什么 Hermite 多项式对 LeJEPA 至关重要？
关键事实：OU 过程对不同阶数的衰减不同
当 z' = ρz + √(1-ρ²)η（OU 过程，η ~ N(0,1)）时：
E[Heₙ(z') · Heₙ(z)] = ρⁿ · n!
翻译成人话：
- 1阶（线性）成分：相关性 =
ρ¹ = ρ - 2阶（二次）成分：相关性 =
ρ² < ρ（因为ρ < 1） - 3阶（三次）成分：相关性 =
ρ³ < ρ² - d阶成分：相关性 =
ρᵈ，随 d 增大指数衰减
这意味着什么？
LeJEPA 的对齐损失要最大化正样本对的相关性。由于：
- 线性成分贡献
ρ - 非线性成分贡献
ρᵈ < ρ（d ≥ 2）
最优策略就是：只保留线性成分，丢弃所有非线性成分！
这就是定理1的核心直觉。
🎨 可视化：前4个 Hermite 多项式
He₀(z) = 1 ──────────────── （常数，被零均值约束排除）
He₁(z) = z ╱ （线性，这是我们想要的！）
He₂(z) = z²-1 ∪ （二次，被 OU 衰减更多）
He₃(z) = z³-3z ∫ （三次，衰减更多）
在 z ~ N(0,1) 的分布下，大多数概率质量集中在 [-3, 3] 区间。
📊 谱权重的含义
在 LeJEPA 的证明中，定义谱权重 wₐ：
wₐ = (展开系数 cₐ)² · d! / E[h(z)²]
满足：
wₐ ≥ 0（非负）w₀ = 0（零均值约束）Σ wₐ = 1（单位方差归一化）
物理意义： wₐ 是编码器 h 中"d阶非线性成分"占总方差的比例。
| 情况 | 谱权重分布 | 含义 |
|---|---|---|
纯线性 h(z) = az |
w₁ = 1，其余为0 |
100% 线性 |
纯二次 h(z) = z²-1 |
w₂ = 1，其余为0 |
100% 二次 |
混合 h(z) = z + z²-1 |
w₁, w₂ > 0 |
线性+二次混合 |
✅ 小结
- Hermite 多项式 是高斯分布下函数的"频率分解"工具
- 正交性：不同阶数的 Hermite 多项式在高斯期望下互不干扰
- OU 衰减：d 阶成分的时间相关性为
ρᵈ，高阶衰减更快 - LeJEPA 的核心：最大化相关性 → 只保留线性（d=1）成分 → 线性可识别性
➡️ 下一步
→ Topic 2：OU 过程与 Mehler 公式——深入理解 ρᵈ 衰减的来源