专题 VII — SIGReg 正则化(07_sigreg_regularization.md,760 行) - 特征函数匹配损失 L_SIG 完整数学推导 - Cramér-Wold 定理证明:切片投影 → 联合高斯 - 切片技巧:256 个随机方向 + 梯形积分(17 节点) - losses.py:SIGReg 逐行代码解析,张量形状追踪 (V,B,N)→scalar - vs VICReg 对比:SIGReg 约束全分布,VICReg 仅约束二阶矩 专题 VIII — 线性 ICA:FastICA 与 JADE(08_linear_ica_fastica_jade.md,701 行) - 盲源分离模型 x=As,非高斯性度量(峰度/负熵/互信息) - FastICA 不动点迭代推导(三次收敛) - JADE 四阶累积量张量 + Jacobi 联合对角化(二次收敛) - Darmois-Skitovich 定理:ICA 可识别性充要条件 - ICA vs LeJEPA 对偶反转:高斯在 ICA 失败,在 LeJEPA 成功 其他变更: - JEPA/math/README.md:专题表格新增 VII、VIII 行 - project_analysis.md:Session Log 补充 2026-06-05 工作记录 - lejepa-identifiability 子模块:.gitignore 新增 .venv/
This commit is contained in:
@@ -69,3 +69,46 @@ iPhone LiDAR + Apple RoomPlan API做消费级室内3D重建。涵盖开源项目
|
||||
- Camera、RoomPlan是方案设计,不是实际采集管线
|
||||
|
||||
简单说:**项目设计完成度极高,但工程实现基本从零起步。** PRISM是真正的核心引擎,CrowdRoom和HotelScene是两个应用场景。
|
||||
|
||||
---
|
||||
|
||||
## 📝 工作记录(Session Log)
|
||||
|
||||
### 2026-06-05 — JEPA/math 专题扩展
|
||||
|
||||
**完成内容:**
|
||||
|
||||
#### 专题 VII:SIGReg 正则化([`JEPA/math/07_sigreg_regularization.md`](JEPA/math/07_sigreg_regularization.md),760 行)
|
||||
|
||||
SIGReg(Sketched Isotropic Gaussian Regularization)是 LeJEPA 的核心正则化组件,用于强制编码器输出满足各向同性高斯约束 $h(z) \sim \mathcal{N}(0, I_n)$,这是定理 1(线性可识别性)的关键前提。
|
||||
|
||||
**核心知识点:**
|
||||
- **特征函数匹配**:$\mathcal{L}_{\text{SIG}} = \mathbb{E}_a \int_0^{t_{\max}} |\hat{\varphi}_{h,a}(t) - e^{-t^2/2}|^2 \cdot e^{-t^2/2}\, dt$
|
||||
- **Cramér-Wold 定理**:所有方向投影为 $\mathcal{N}(0,1)$ $\iff$ 联合分布为 $\mathcal{N}(0, I_n)$
|
||||
- **切片技巧**:随机采样 256 个单位方向,将高维分布匹配降为一维问题
|
||||
- **梯形积分**:17 个频率节点,$t \in [0, 3]$,权重 $\tilde{w}_k = w_k \cdot e^{-t_k^2/2}$
|
||||
- **代码实现**:[`losses.py:SIGReg`](JEPA/lejepa-identifiability/experiments/lejepa_id/losses.py:8) 逐行解析,张量形状追踪 `(V,B,N) → scalar`
|
||||
- **vs VICReg**:SIGReg 约束全分布(所有阶矩),VICReg 只约束二阶矩(协方差)
|
||||
- **超参数**:`knots=17, n_slices=256, t_max=3.0, lamb=1e-3`
|
||||
|
||||
#### 专题 VIII:线性 ICA——FastICA 与 JADE([`JEPA/math/08_linear_ica_fastica_jade.md`](JEPA/math/08_linear_ica_fastica_jade.md),701 行)
|
||||
|
||||
线性 ICA 是 LeJEPA 可识别性理论的重要对比背景,两者构成"对偶反转"关系。
|
||||
|
||||
**核心知识点:**
|
||||
- **盲源分离模型**:$x = As$,目标恢复 $W = A^{-1}$(至置换+缩放等价类)
|
||||
- **非高斯性度量**:峰度 $\text{kurt}(y) = \mathbb{E}[y^4] - 3$、负熵 $J(y) = H(y_\text{Gauss}) - H(y)$、互信息
|
||||
- **FastICA 不动点迭代**:$w^+ = \mathbb{E}[\tilde{x}\,g(w^\top\tilde{x})] - \mathbb{E}[g'(w^\top\tilde{x})]\,w$,三次收敛
|
||||
- **JADE 联合对角化**:四阶累积量张量 $\mathcal{Q}_{ijkl}$,Jacobi 旋转,二次收敛
|
||||
- **Darmois-Skitovich 定理**:至多一个高斯源时 ICA 可识别(置换+缩放等价)
|
||||
- **对偶反转**:高斯分布在 ICA 中失败(旋转不变性),在 LeJEPA 中成功(Mehler 公式)
|
||||
- **方法谱系**:FastICA/JADE(线性)→ SFA/iVAE/TCL/LeJEPA(非线性,各有额外约束)
|
||||
|
||||
**关键对比表:**
|
||||
|
||||
| 框架 | 高斯分布 | 可识别性类 | 核心工具 |
|
||||
|------|---------|-----------|---------|
|
||||
| FastICA/JADE | ❌ 失败 | 置换+缩放 | 高阶累积量 |
|
||||
| LeJEPA | ✅ 成功 | 正交等价 | Mehler 公式 |
|
||||
|
||||
**README 更新:** [`JEPA/math/README.md`](JEPA/math/README.md) 已加入专题 VII、VIII 条目。
|
||||
|
||||
Reference in New Issue
Block a user