Add new research papers to JEPA repository

- Added 2506.09985_vjepa2.pdf (19.8 MB) - Added 2511.08544_lejepa.pdf (8.5 MB) - Added 2602.11389_causal_jepa.pdf (2.9 MB) - Added 2603.19312_leworldmodel.pdf (5.5 MB)
2026-06-02 04:27:06 +08:00
parent c55f47b287
commit 3df832ac6b
8 changed files with 132 additions and 30 deletions
@@ -134,9 +134,10 @@ L_SIG = SIGReg(h(z), N(0,I))         # 高斯正则化（防坍塌）
 ```

 ### SIGReg 实现原理
- 通过随机投影（sketching）估计嵌入分布的特征函数
- 与标准高斯的特征函数对比，计算偏差
- 线性时间复杂度，~50 行代码
+- 通过随机切片（sliced/sketching）将嵌入投影到 `n_slices=256` 个一维方向
+- 在 `knots=17` 个积分节点上估计投影的**特征函数**（实部 `cos` + 虚部 `sin`）
+- 与标准高斯特征函数 `φ(t)=exp(-t²/2)` 对比，按梯形权重×高斯权重加权积分
+- 线性时间复杂度，~50 行代码（见 [`losses.py:SIGReg`](lejepa-identifiability/experiments/lejepa_id/losses.py:8)）

 ### 关键超参数
 | 参数 | 推荐范围 | 说明 |