LeJEPA · Topic 3 · 定理 1

谱分解 与线性可识别性

调节编码器的谱权重 w₁/w₂,w₃(自动归一化),实时计算相关性 corr = Σ wᵈ·ρᵈ,看它何时能触到上界 ρ——只有纯线性(w₁=1)才能取等。

谱权重 wᵈ(Σ=1 自动归一化)
w₁ 线性1.00
w₂ 二次0.00
w₃ 三次0.00
谱权重 = 编码器各阶非线性成分占总方差的比例。w₀=0(零均值),Σwᵈ=1(单位方差)。
相关性 ρ
ρ0.90
当前相关性 corr
0.900
上界 = ρ。差距 = ρ − corr ≥ 0,仅纯线性时为 0。

corr = Σ wᵈ·ρᵈ 相对上界 ρ

关键不等式

corr = Σd≥1 wdρd ≤ Σ wdρ = ρ

等号 ⟺ ∀d≥2: wd=0 ⟺ w₁=1

从相关到正交

corr=ρ → h(z)=Az(线性)
h(z)~N(0,I) → AAᵀ=I
h(z)=Qz, Q∈O(n)
来源:JEPA/math/03_spectral_identifiability.md