SELF-SUPERVISED · 谱分解 · EP.02

OU 过程
与 Mehler 公式

正样本对怎么造？为什么高阶非线性成分被罚得更狠？

配套播客 · 双主播对话 · 上接 Hermite 多项式，下启线性可识别性

00 · 核心问题

正样本对从哪里来？

LeJEPA 训练需要「正样本对」——同一内容的两个视角 $(z, z')$。
这对视角是怎么生成的？答案是 OU 过程。
为什么这种生成方式，会让高阶 Hermite 成分被更强地惩罚？
解开它的钥匙，是 Mehler 公式。

01 · 物理直觉

弹簧上的小球

弹簧力 · 均值回归

把小球持续拉回原点，不让它跑远。

随机扰动 · 布朗噪声

周围的随机推搡，让小球抖动。

一拉一推 = OU 过程

两股力量的拉扯，正是 Ornstein–Uhlenbeck 过程的图像。

02 · 定义

LeJEPA 用的离散一步转移

$z' = \rho\,z + \sqrt{1-\rho^{2}}\;\eta$

$\eta\sim\mathcal N(0,I),\quad \rho\in(0,1)$

$\rho$ 是相关系数——两个视角的相似度旋钮。

$\rho\to1$：几乎相同视角；$\rho\to0$：相互独立。实践取 $\rho\in[0.8,0.95]$。

03 · 三个性质

OU 过程的三块基石

① 平稳性

$z\sim\mathcal N(0,I)\Rightarrow z'\sim\mathcal N(0,I)$
均值 0、方差 $\rho^2+(1-\rho^2)=1$。两视角分布相同。

② 相关可控

$\mathrm{Cov}(z',z)=\rho\,I$
$\rho$ 直接 = 相似度，一个旋钮说了算。

③ 加性噪声

$z'=\rho z+\eta$：线性漂移 + 独立噪声。
满足论文的加性噪声假设。

04 · 谱定理

Mehler 公式：每阶挂 ρᵈ

$p(z'\mid z)=\varphi(z')\displaystyle\sum_{d=0}^{\infty}\rho^{d}\,\frac{He_d(z)He_d(z')}{d!}$

OU 转移核在 Hermite 基下展开

$\mathbb{E}[h_i(z)\,h_i(z')]=\displaystyle\sum_{d=0}^{\infty}\rho^{d}\,w_d$

$w_d$＝第 $i$ 分量在 $d$ 阶上的谱权重

关键：d 阶成分的系数 = ρ 的 d 次方。

05 · 核心推论

取 ρ = 0.9 算给你看

编码器	谱权重	相关性 corrᵢ	与 0.9 的差距
纯线性 $h=z$	$w_1=1$	$0.9^1=0.900$	0 ｜最优
纯二次 $h=z^2-1$	$w_2=1$	$0.9^2=0.810$	−0.090
纯三次 $h=z^3-3z$	$w_3=1$	$0.9^3=0.729$	−0.171
混合各半	$w_1=w_2=0.5$	$0.855$	−0.045

07 · 训练联系

对齐损失的下界

$\mathcal L_{\text{align}}=\mathbb{E}\|h(z')-h(z)\|^2$
$=2n-2\sum_i \mathrm{corr}_i\;\ge\;2(1-\rho)\,n$

最小化损失 ⟺ 最大化相关性之和

等号成立 当且仅当每个 $h_i$ 都是线性的。

这就是定理一的心脏：最优编码器必须线性。

08 · 直觉图示

ρ = 0.9 时逐阶衰减

d=1 线性

ρ¹ = 0.900

d=2 二次

ρ² = 0.810

d=3 三次

ρ³ = 0.729

d=4 四次

ρ⁴ = 0.656

d=5 五次

ρ⁵ = 0.590

非线性成分的相关性随阶数指数衰减——越高阶越吃亏。

09 · 小结

五句话带走全场

01

OU 过程「一拉一推」造正样本对，相似度由 ρ 控制。

02

平稳性 + 协方差 = ρ + 线性漂移加噪声，三性质齐备。

03

Mehler：d 阶 Hermite 成分相关性 = ρᵈ。

04

核心不等式 corrᵢ = Σ wᵈ ρᵈ ≤ ρ，等号 ⟺ 纯线性。

05

最小化对齐损失 → 最大化相关性 → 编码器必须线性（定理一）。

下一站

谱分解
与线性可识别性

下一讲把 Hermite 展开与 OU 衰减正式拼起来，组装成定理一的完整证明。

谢谢收听 · 配套音频 ou_mehler-podcast.mp3 · 弹簧拉小球，ρ 拧大小 · 我们下次见

OU 过程与 Mehler 公式