gaojie
b70161f4e5
专题 VII — SIGReg 正则化（07_sigreg_regularization.md，760 行） - 特征函数匹配损失 L_SIG 完整数学推导 - Cramér-Wold 定理证明：切片投影 → 联合高斯 - 切片技巧：256 个随机方向 + 梯形积分（17 节点） - losses.py:SIGReg 逐行代码解析，张量形状追踪 (V,B,N)→scalar - vs VICReg 对比：SIGReg 约束全分布，VICReg 仅约束二阶矩 专题 VIII — 线性 ICA：FastICA 与 JADE（08_linear_ica_fastica_jade.md，701 行） - 盲源分离模型 x=As，非高斯性度量（峰度/负熵/互信息） - FastICA 不动点迭代推导（三次收敛） - JADE 四阶累积量张量 + Jacobi 联合对角化（二次收敛） - Darmois-Skitovich 定理：ICA 可识别性充要条件 - ICA vs LeJEPA 对偶反转：高斯在 ICA 失败，在 LeJEPA 成功 其他变更： - JEPA/math/README.md：专题表格新增 VII、VIII 行 - project_analysis.md：Session Log 补充 2026-06-05 工作记录 - lejepa-identifiability 子模块：.gitignore 新增 .venv/
5.7 KiB
title, date, tags
| title | date | tags | ||
|---|---|---|---|---|
| WorldModel 项目分析 | 2026-06-01 |
|
WorldModel 项目分析
生成时间：2026-06-01 项目路径：
/Users/mac/code/worldmodel
📐 项目总览
WorldModel 是一个围绕室内物理世界理解（酒店场景切入）的研究型工程项目。核心目标是为具身智能提供可验证的技术平台。
- 216 个源文件（排除 node_modules），3.4 万总文件数
- 纯文档驱动型：绝大部分是 Markdown，只有少量 Python/Shell 脚本做辅助
- Git 活跃维护中
🧱 七大模块
1. 🔮 PRISM（核心，~108 文件）
Prior-Registered Integrated Spatial Memory — 机器人空间记忆架构。
四层空间记忆：L1感知缓冲 → L2度量地图 → L3拓扑图 → L4语义场。四条管线：离线建图（iPhone）/ 重定位握手 / 在线感知（ZED2i）/ 记忆巩固。已升级到 v2.0，有仿脑升级设计（Lyra 2.0 启发）。这是整个项目的"消化层"。
2. 🏠 CrowdRoom（13 文件）
众包 3D 房间共享平台，定位是"RoomPlan版 Sketchfab + Pinterest"。涵盖数据模型、API 契约、iOS/Web端设计、物品替换手册、隐私治理和路线图。
3. 📷 Camera（6 文件）
ZED2i立体相机的工程化方案：双目+IMU完整解决方案、数据Pipeline迭代框架、国产替代调研。
4. 📱 RoomPlan（7 文件）
iPhone LiDAR + Apple RoomPlan API做消费级室内3D重建。涵盖开源项目调研、数据格式规范（USDZ/OBJ/glTF/点云）、精度分析。
5. 🏨 HotelScene（4-6 文件）
以酒店为真实场景执行落地，分三部曲实施方案。
6. 🎮 GameEngine（1文件）
引入 Unity/Unreal Engine做实时可视化、轻量物理沙盒和合成数据生成。
7. 🔬 Research（~108文件 + PDF论文）
学术调研支撑：世界模型综述、Lyra2精读、人类空间记忆神经科学、SLAM/VIO/JEPA系列论文（含V-JEPA2源码剖析）、MultiPLY多感官感知项目、物理世界理解研究计划。
⚙️ 技术架构（核心理念）
"先验 + 在线"双流融合：
- 📱 iPhone (RoomPlan) → 一次性高精度先验地图（LiDAR毫米级）
- 📷 ZED2i → 持续在线感知与增量更新（立体+IMU）
- 🧠 PRISM → 统一空间记忆架构汇聚两路数据
- 🎮 GameEngine → 数字孪生运行时（可视化/物理沙盒）
🔍 评价
优势：
- 架构设计系统且深入，四层记忆分层有理有据（认知科学+SLAM工程的控制论交集）
- 文档体系极其完善，PRISM有20章+配套工具链（LaTeX书构建、自动统计）
- 学术调研扎实，覆盖JEPA/Lyra/MultiPLY等前沿方向
待推进的（纯文档阶段）：
- 目前几乎没有可运行的代码，都是设计文档和论文研究
- PRISM tools只有构建脚本（LaTeX/Python），没有核心架构的工程实现
- Camera、RoomPlan是方案设计，不是实际采集管线
简单说：项目设计完成度极高，但工程实现基本从零起步。 PRISM是真正的核心引擎，CrowdRoom和HotelScene是两个应用场景。
📝 工作记录（Session Log）
2026-06-05 — JEPA/math 专题扩展
完成内容：
专题 VII：SIGReg 正则化（JEPA/math/07_sigreg_regularization.md，760 行）
SIGReg（Sketched Isotropic Gaussian Regularization）是 LeJEPA 的核心正则化组件，用于强制编码器输出满足各向同性高斯约束 $h(z) \sim \mathcal{N}(0, I_n)$，这是定理 1（线性可识别性）的关键前提。
核心知识点：
- 特征函数匹配：
\mathcal{L}_{\text{SIG}} = \mathbb{E}_a \int_0^{t_{\max}} |\hat{\varphi}_{h,a}(t) - e^{-t^2/2}|^2 \cdot e^{-t^2/2}\, dt - Cramér-Wold 定理：所有方向投影为
\mathcal{N}(0,1)\iff联合分布为\mathcal{N}(0, I_n) - 切片技巧：随机采样 256 个单位方向，将高维分布匹配降为一维问题
- 梯形积分：17 个频率节点，$t \in [0, 3]$，权重
\tilde{w}_k = w_k \cdot e^{-t_k^2/2} - 代码实现：
losses.py:SIGReg逐行解析，张量形状追踪(V,B,N) → scalar - vs VICReg：SIGReg 约束全分布（所有阶矩），VICReg 只约束二阶矩（协方差）
- 超参数：
knots=17, n_slices=256, t_max=3.0, lamb=1e-3
专题 VIII：线性 ICA——FastICA 与 JADE（JEPA/math/08_linear_ica_fastica_jade.md，701 行）
线性 ICA 是 LeJEPA 可识别性理论的重要对比背景，两者构成"对偶反转"关系。
核心知识点：
- 盲源分离模型：$x = As$，目标恢复 $W = A^{-1}$（至置换+缩放等价类）
- 非高斯性度量：峰度 $\text{kurt}(y) = \mathbb{E}[y^4] - 3$、负熵 $J(y) = H(y_\text{Gauss}) - H(y)$、互信息
- FastICA 不动点迭代：$w^+ = \mathbb{E}[\tilde{x},g(w^\top\tilde{x})] - \mathbb{E}[g'(w^\top\tilde{x})],w$，三次收敛
- JADE 联合对角化：四阶累积量张量 $\mathcal{Q}_{ijkl}$，Jacobi 旋转，二次收敛
- Darmois-Skitovich 定理：至多一个高斯源时 ICA 可识别（置换+缩放等价）
- 对偶反转：高斯分布在 ICA 中失败（旋转不变性），在 LeJEPA 中成功（Mehler 公式）
- 方法谱系：FastICA/JADE（线性）→ SFA/iVAE/TCL/LeJEPA（非线性，各有额外约束）
关键对比表：
| 框架 | 高斯分布 | 可识别性类 | 核心工具 |
|---|---|---|---|
| FastICA/JADE | ❌ 失败 | 置换+缩放 | 高阶累积量 |
| LeJEPA | ✅ 成功 | 正交等价 | Mehler 公式 |
README 更新： JEPA/math/README.md 已加入专题 VII、VIII 条目。