+
+
+ LeJEPA · Topic 5 · 定理 3
+
近似可识别性界 优雅降级
+
+ 当对齐间隙 δ 与白化误差 ε 不为零时，恢复误差被界 D + (ε+D)² 控制（D = δ/(2ρ(1−ρ))）。拖动三个参数，观察 δ 是主因、ε 仅二阶。
+
+
+
+
+
误差参数
+
δ 对齐间隙0.018
+
ε 白化误差0.10
+
ρ 相关性0.90
+
+
+
+
+
+
+
δ=0 且 ε=0 时界=0，退化为定理1的精确恢复 h(z)=Qz。
+
+
归一化量 D = δ / (2ρ(1−ρ))
+
谱间隙 2ρ(1−ρ)0.18
+
D0.10
+
ρ 越大，2ρ(1−ρ) 越小，D 对 δ 越敏感。
+
+
误差上界
+
0.110
+
E[‖h(z)−Qz‖²] ≤ D + (ε+D)²
+
+
+
+ 误差界的构成：D（一阶）+ (ε+D)²（二阶）
+ 堆叠条 = 界的两部分；右侧曲面 = 界随 δ 的增长
+
+
+ 定理 3 的界
+ E[‖h(z)−Qz‖²]
≤ D + (ε+D)²
D = δ / (2ρ(1−ρ))
+
+
D：来自对齐间隙 δ（线性主导项）
+
(ε+D)²：白化与 Procrustes 误差（二阶）
+
来源：JEPA/math/05_approximate_identifiability.md
+
+
+
+
+ LeJEPA · Topic 4 · 定理 2
+
高斯唯一性 Sturm-Liouville
+
+ 扫描广义正态分布的形状参数 α，看密度 p(z;α) 的得分函数 (log p)′ 是否线性——只有 α=2（高斯）时得分线性，线性可识别性才成立。
+
+
+
+
+
形状参数 α
+
2.00
+
+
+
广义正态 p(z;α) ∝ exp(−|z/β|^α)，β 调成单位方差。α=1 拉普拉斯，α=2 高斯，α→∞ 均匀。
+
+
+
+
+
+
+
+
得分函数线性度
+
+
得分 (log p)′ = −(α/βᵅ)·|z|^{α−1}·sign(z)。仅 α=2 时退化为线性的 −z。
+
+
+
+ 密度与得分函数
α=2 是唯一让得分变直线的点
+
+
+
得分函数 (log p)′(z) — 直线 = 高斯
+
+
+
+ 充要链条
+ p 高斯
⟺ 得分 (log p)′ 线性
⟺ 第一特征函数仿射
⟺ 线性可识别性成立
+ 线性可识别性 R²(α)
+
+
+ 来源：JEPA/math/04_sturm_liouville_uniqueness.md
+
+
+
+
+
+ LeJEPA · Topic 1
+
Hermite 多项式 与 OU 过程的 ρᵈ 衰减
+
+ 拖动相关性 ρ、切换不同阶数的 Hermite 成分，实时观察：为什么 LeJEPA 的对齐损失会只青睐线性成分——这正是「线性可识别性」定理 1 的核心直觉。
+
+
+
+
+
+
相关性 ρ（OU 过程）
+
0.70 ∈ (0, 1)
+
+
ρ 越大，正样本对 (z, z′) 越相似。第 d 阶成分的时间相关性为 ρᵈ，高阶随 d 指数衰减。
+
+
演示
+
+
+
+
+
自动模式下 ρ 在 0.05↔0.97 之间往返，观察条形图的相对高度如何变化。
+
+
+
+
+
+
前几阶 Hermite 多项式 Heₙ(z)
+ 底纹 = 高斯密度 N(0,1)，概率质量集中在 [-3, 3]
+
+
+
+
+
各阶成分对正样本对的相关性 = ρᵈ · (n! 归一化后)
+
+
+
+
+
+ 实时解读
+
+ E[Heₙ(z′)·Heₙ(z)]
+ = ρn · n!
+
+
+
+ 谱权重的含义
+
+ w₁ = 1 → 100% 线性（想要的）
+ w_d>0 (d≥2) → 残留非线性
+
+
+
+ 来源：JEPA/math/01_hermite_polynomials.md
+
+
+
+
+
+ LeJEPA · Topic 2
+
OU 过程 与 Mehler 公式
+
+ 正样本对 (z, z′) 由 OU 过程 z′ = ρz + √(1−ρ²)·η 生成。拖动 ρ 观察散点相关性与 ρᵈ 衰减——这正是「高阶成分被更强惩罚」的来源。
+
+
+
+
+
相关性 ρ
+
0.90 ∈ (0,1)
+
+
物理图像：弹簧拴住的粒子（均值回归 ρz）+ 随机扰动（√(1−ρ²)η）。ρ→1 视图几乎相同，ρ→0 趋于独立。
+
+
平稳性 & 相关性（实时统计）
+
样本数 N1500
+
Var(z)1.00
+
Var(z′)1.00
+
Cov(z,z′)0.90
+
无论 ρ 多少，z 与 z′ 都保持单位方差（平稳性）；协方差 ≈ ρ。
+
+
演示
+
+
+
+
+
+
+
+ 正样本对联合散点 (z, z′)
每点一个样本；越靠对角线 = 越相关
+
+
+
第 d 阶 Hermite 成分的相关性 = ρᵈ（线性 d=1 最大）
+
+
+
+
+ Mehler 公式
+ E[h(z′)·h(z)]
= Σd≥1 wd·ρd ≤ ρ
+
+ 对齐损失下界
+ Lalign = 2n − 2Σ corri
≥ 2(1−ρ)n
+
+ 来源：JEPA/math/02_ou_process_mehler.md
+
+
+
+
+ LeJEPA · Topic 6 · 定理 4
+
正交不变性 与最优规划
+
+ 学到的潜空间 ẑ = Qz 只是真实空间 z 的旋转。旋转角 θ 任意，只要代价函数是 O(n)-不变的，两边规划的总代价就完全相同。
+
+
+
+
+
旋转角 θ（Q ∈ O(n)）
+
45°
+
+
ẑ = Qz，Q 是旋转 θ 的正交矩阵。无论 θ 多少，点云形状不变（保距离、保角度）。
+
+
代价函数类型
+
+
+
+
+
距离类代价旋转不变 → 定理4成立；坐标类代价依赖方向 → 不适用。
+
+
总规划代价对比
+
+
真实空间 J(z)—
+
潜空间 J(ẑ)—
+
+
+
+
+ 两个空间中的最优路径（start → goal）
+
+
+
+
+ 代价等价（核心）
+ ℓ(Qz, a) = ℓ(z, a) （O(n)-不变）
J(a; Qz₀) = J(a; z₀)
→ â* = a* 且 V̂* = V*
+ 为什么足够？
+ 正交变换保持：
‖Qz₁−Qz₂‖ = ‖z₁−z₂‖
⟨Qz₁,Qz₂⟩ = ⟨z₁,z₂⟩
+
+ 来源：JEPA/math/06_planning_equivalence.md
+
+
+
+
+ LeJEPA · Topic 3 · 定理 1
+
谱分解 与线性可识别性
+
+ 调节编码器的谱权重 w₁/w₂,w₃（自动归一化），实时计算相关性 corr = Σ wᵈ·ρᵈ，看它何时能触到上界 ρ——只有纯线性（w₁=1）才能取等。
+
+
+
+
+
谱权重 wᵈ（Σ=1 自动归一化）
+
w₁ 线性1.00
+
w₂ 二次0.00
+
w₃ 三次0.00
+
+
+
+
+
+
+
谱权重 = 编码器各阶非线性成分占总方差的比例。w₀=0（零均值），Σwᵈ=1（单位方差）。
+
+
当前相关性 corr
+
0.900
+
上界 = ρ。差距 = ρ − corr ≥ 0，仅纯线性时为 0。
+
+
+
+ corr = Σ wᵈ·ρᵈ 相对上界 ρ
+
+
+
+
+
+ 关键不等式
+ corr = Σd≥1 wdρd ≤ Σ wdρ = ρ
等号 ⟺ ∀d≥2: wd=0 ⟺ w₁=1
+ 从相关到正交
+ corr=ρ → h(z)=Az（线性）
h(z)~N(0,I) → AAᵀ=I
→ h(z)=Qz, Q∈O(n)
+
+ 来源：JEPA/math/03_spectral_identifiability.md
+
+