LeJEPA · Topic 3 · 定理 1
谱分解 与线性可识别性
调节编码器的谱权重 w₁/w₂,w₃(自动归一化),实时计算相关性 corr = Σ wᵈ·ρᵈ,看它何时能触到上界 ρ——只有纯线性(w₁=1)才能取等。
当前相关性 corr
0.900
上界 = ρ。差距 = ρ − corr ≥ 0,仅纯线性时为 0。
关键不等式
corr = Σd≥1 wdρd ≤ Σ wdρ = ρ
等号 ⟺ ∀d≥2: wd=0 ⟺ w₁=1
从相关到正交
corr=ρ → h(z)=Az(线性)
h(z)~N(0,I) → AAᵀ=I
→ h(z)=Qz, Q∈O(n)
来源:JEPA/math/03_spectral_identifiability.md