feat(JEPA/math): 新增专题 VII & VIII,更新 README 与项目分析
Sync to site1 / sync (push) Has been cancelled

专题 VII — SIGReg 正则化(07_sigreg_regularization.md,760 行)
- 特征函数匹配损失 L_SIG 完整数学推导
- Cramér-Wold 定理证明:切片投影 → 联合高斯
- 切片技巧:256 个随机方向 + 梯形积分(17 节点)
- losses.py:SIGReg 逐行代码解析,张量形状追踪 (V,B,N)→scalar
- vs VICReg 对比:SIGReg 约束全分布,VICReg 仅约束二阶矩

专题 VIII — 线性 ICA:FastICA 与 JADE(08_linear_ica_fastica_jade.md,701 行)
- 盲源分离模型 x=As,非高斯性度量(峰度/负熵/互信息)
- FastICA 不动点迭代推导(三次收敛)
- JADE 四阶累积量张量 + Jacobi 联合对角化(二次收敛)
- Darmois-Skitovich 定理:ICA 可识别性充要条件
- ICA vs LeJEPA 对偶反转:高斯在 ICA 失败,在 LeJEPA 成功

其他变更:
- JEPA/math/README.md:专题表格新增 VII、VIII 行
- project_analysis.md:Session Log 补充 2026-06-05 工作记录
- lejepa-identifiability 子模块:.gitignore 新增 .venv/
This commit is contained in:
gaojie
2026-06-05 17:06:09 +08:00
parent b5499c7ea0
commit b70161f4e5
5 changed files with 1509 additions and 1 deletions
+43
View File
@@ -69,3 +69,46 @@ iPhone LiDAR + Apple RoomPlan API做消费级室内3D重建。涵盖开源项目
- Camera、RoomPlan是方案设计,不是实际采集管线
简单说:**项目设计完成度极高,但工程实现基本从零起步。** PRISM是真正的核心引擎,CrowdRoom和HotelScene是两个应用场景。
---
## 📝 工作记录(Session Log
### 2026-06-05 — JEPA/math 专题扩展
**完成内容:**
#### 专题 VIISIGReg 正则化([`JEPA/math/07_sigreg_regularization.md`](JEPA/math/07_sigreg_regularization.md)760 行)
SIGRegSketched Isotropic Gaussian Regularization)是 LeJEPA 的核心正则化组件,用于强制编码器输出满足各向同性高斯约束 $h(z) \sim \mathcal{N}(0, I_n)$,这是定理 1(线性可识别性)的关键前提。
**核心知识点:**
- **特征函数匹配**$\mathcal{L}_{\text{SIG}} = \mathbb{E}_a \int_0^{t_{\max}} |\hat{\varphi}_{h,a}(t) - e^{-t^2/2}|^2 \cdot e^{-t^2/2}\, dt$
- **Cramér-Wold 定理**:所有方向投影为 $\mathcal{N}(0,1)$ $\iff$ 联合分布为 $\mathcal{N}(0, I_n)$
- **切片技巧**:随机采样 256 个单位方向,将高维分布匹配降为一维问题
- **梯形积分**17 个频率节点,$t \in [0, 3]$,权重 $\tilde{w}_k = w_k \cdot e^{-t_k^2/2}$
- **代码实现**[`losses.py:SIGReg`](JEPA/lejepa-identifiability/experiments/lejepa_id/losses.py:8) 逐行解析,张量形状追踪 `(V,B,N) → scalar`
- **vs VICReg**SIGReg 约束全分布(所有阶矩),VICReg 只约束二阶矩(协方差)
- **超参数**`knots=17, n_slices=256, t_max=3.0, lamb=1e-3`
#### 专题 VIII:线性 ICA——FastICA 与 JADE[`JEPA/math/08_linear_ica_fastica_jade.md`](JEPA/math/08_linear_ica_fastica_jade.md)701 行)
线性 ICA 是 LeJEPA 可识别性理论的重要对比背景,两者构成"对偶反转"关系。
**核心知识点:**
- **盲源分离模型**$x = As$,目标恢复 $W = A^{-1}$(至置换+缩放等价类)
- **非高斯性度量**:峰度 $\text{kurt}(y) = \mathbb{E}[y^4] - 3$、负熵 $J(y) = H(y_\text{Gauss}) - H(y)$、互信息
- **FastICA 不动点迭代**$w^+ = \mathbb{E}[\tilde{x}\,g(w^\top\tilde{x})] - \mathbb{E}[g'(w^\top\tilde{x})]\,w$,三次收敛
- **JADE 联合对角化**:四阶累积量张量 $\mathcal{Q}_{ijkl}$Jacobi 旋转,二次收敛
- **Darmois-Skitovich 定理**:至多一个高斯源时 ICA 可识别(置换+缩放等价)
- **对偶反转**:高斯分布在 ICA 中失败(旋转不变性),在 LeJEPA 中成功(Mehler 公式)
- **方法谱系**FastICA/JADE(线性)→ SFA/iVAE/TCL/LeJEPA(非线性,各有额外约束)
**关键对比表:**
| 框架 | 高斯分布 | 可识别性类 | 核心工具 |
|------|---------|-----------|---------|
| FastICA/JADE | ❌ 失败 | 置换+缩放 | 高阶累积量 |
| LeJEPA | ✅ 成功 | 正交等价 | Mehler 公式 |
**README 更新:** [`JEPA/math/README.md`](JEPA/math/README.md) 已加入专题 VII、VIII 条目。