gaojie
b70161f4e5
Sync to site1 / sync (push) Has been cancelled
专题 VII — SIGReg 正则化（07_sigreg_regularization.md，760 行） - 特征函数匹配损失 L_SIG 完整数学推导 - Cramér-Wold 定理证明：切片投影 → 联合高斯 - 切片技巧：256 个随机方向 + 梯形积分（17 节点） - losses.py:SIGReg 逐行代码解析，张量形状追踪 (V,B,N)→scalar - vs VICReg 对比：SIGReg 约束全分布，VICReg 仅约束二阶矩 专题 VIII — 线性 ICA：FastICA 与 JADE（08_linear_ica_fastica_jade.md，701 行） - 盲源分离模型 x=As，非高斯性度量（峰度/负熵/互信息） - FastICA 不动点迭代推导（三次收敛） - JADE 四阶累积量张量 + Jacobi 联合对角化（二次收敛） - Darmois-Skitovich 定理：ICA 可识别性充要条件 - ICA vs LeJEPA 对偶反转：高斯在 ICA 失败，在 LeJEPA 成功 其他变更： - JEPA/math/README.md：专题表格新增 VII、VIII 行 - project_analysis.md：Session Log 补充 2026-06-05 工作记录 - lejepa-identifiability 子模块：.gitignore 新增 .venv/
115 lines
5.7 KiB
Markdown
115 lines
5.7 KiB
Markdown
---
|
||
title: "WorldModel 项目分析"
|
||
date: 2026-06-01
|
||
tags: [worldmodel, analysis]
|
||
---
|
||
|
||
# WorldModel 项目分析
|
||
|
||
> 生成时间：2026-06-01
|
||
> 项目路径：`/Users/mac/code/worldmodel`
|
||
|
||
## 📐 项目总览
|
||
|
||
WorldModel 是一个围绕**室内物理世界理解**（酒店场景切入）的**研究型工程项目**。核心目标是为具身智能提供可验证的技术平台。
|
||
|
||
- 216 个源文件（排除 node_modules），3.4 万总文件数
|
||
- **纯文档驱动型**：绝大部分是 Markdown，只有少量 Python/Shell 脚本做辅助
|
||
- Git 活跃维护中
|
||
|
||
---
|
||
|
||
## 🧱 七大模块
|
||
|
||
### 1. 🔮 PRISM（核心，~108 文件）
|
||
**Prior-Registered Integrated Spatial Memory — 机器人空间记忆架构。**
|
||
|
||
四层空间记忆：L1感知缓冲 → L2度量地图 → L3拓扑图 → L4语义场。四条管线：离线建图（iPhone）/ 重定位握手 / 在线感知（ZED2i）/ 记忆巩固。已升级到 v2.0，有仿脑升级设计（Lyra 2.0 启发）。这是整个项目的"消化层"。
|
||
|
||
### 2. 🏠 CrowdRoom（13 文件）
|
||
众包 3D 房间共享平台，定位是"RoomPlan版 Sketchfab + Pinterest"。涵盖数据模型、API 契约、iOS/Web端设计、物品替换手册、隐私治理和路线图。
|
||
|
||
### 3. 📷 Camera（6 文件）
|
||
ZED2i立体相机的工程化方案：双目+IMU完整解决方案、数据Pipeline迭代框架、国产替代调研。
|
||
|
||
### 4. 📱 RoomPlan（7 文件）
|
||
iPhone LiDAR + Apple RoomPlan API做消费级室内3D重建。涵盖开源项目调研、数据格式规范（USDZ/OBJ/glTF/点云）、精度分析。
|
||
|
||
### 5. 🏨 HotelScene（4-6 文件）
|
||
以酒店为真实场景执行落地，分三部曲实施方案。
|
||
|
||
### 6. 🎮 GameEngine（1文件）
|
||
引入 Unity/Unreal Engine做实时可视化、轻量物理沙盒和合成数据生成。
|
||
|
||
### 7. 🔬 Research（~108文件 + PDF论文）
|
||
学术调研支撑：世界模型综述、Lyra2精读、人类空间记忆神经科学、SLAM/VIO/JEPA系列论文（含V-JEPA2源码剖析）、MultiPLY多感官感知项目、物理世界理解研究计划。
|
||
|
||
---
|
||
|
||
## ⚙️ 技术架构（核心理念）
|
||
|
||
**"先验 + 在线"双流融合：**
|
||
- 📱 iPhone (RoomPlan) → 一次性高精度先验地图（LiDAR毫米级）
|
||
- 📷 ZED2i → 持续在线感知与增量更新（立体+IMU）
|
||
- 🧠 PRISM → 统一空间记忆架构汇聚两路数据
|
||
- 🎮 GameEngine → 数字孪生运行时（可视化/物理沙盒）
|
||
|
||
---
|
||
|
||
## 🔍 评价
|
||
|
||
**优势：**
|
||
- 架构设计系统且深入，四层记忆分层有理有据（认知科学+SLAM工程的控制论交集）
|
||
- 文档体系极其完善，PRISM有20章+配套工具链（LaTeX书构建、自动统计）
|
||
- 学术调研扎实，覆盖JEPA/Lyra/MultiPLY等前沿方向
|
||
|
||
**待推进的（纯文档阶段）：**
|
||
- 目前几乎没有可运行的代码，都是设计文档和论文研究
|
||
- PRISM tools只有构建脚本（LaTeX/Python），没有核心架构的工程实现
|
||
- Camera、RoomPlan是方案设计，不是实际采集管线
|
||
|
||
简单说：**项目设计完成度极高，但工程实现基本从零起步。** PRISM是真正的核心引擎，CrowdRoom和HotelScene是两个应用场景。
|
||
|
||
---
|
||
|
||
## 📝 工作记录（Session Log）
|
||
|
||
### 2026-06-05 — JEPA/math 专题扩展
|
||
|
||
**完成内容：**
|
||
|
||
#### 专题 VII：SIGReg 正则化（[`JEPA/math/07_sigreg_regularization.md`](JEPA/math/07_sigreg_regularization.md)，760 行）
|
||
|
||
SIGReg（Sketched Isotropic Gaussian Regularization）是 LeJEPA 的核心正则化组件，用于强制编码器输出满足各向同性高斯约束 $h(z) \sim \mathcal{N}(0, I_n)$，这是定理 1（线性可识别性）的关键前提。
|
||
|
||
**核心知识点：**
|
||
- **特征函数匹配**：$\mathcal{L}_{\text{SIG}} = \mathbb{E}_a \int_0^{t_{\max}} |\hat{\varphi}_{h,a}(t) - e^{-t^2/2}|^2 \cdot e^{-t^2/2}\, dt$
|
||
- **Cramér-Wold 定理**：所有方向投影为 $\mathcal{N}(0,1)$ $\iff$ 联合分布为 $\mathcal{N}(0, I_n)$
|
||
- **切片技巧**：随机采样 256 个单位方向，将高维分布匹配降为一维问题
|
||
- **梯形积分**：17 个频率节点，$t \in [0, 3]$，权重 $\tilde{w}_k = w_k \cdot e^{-t_k^2/2}$
|
||
- **代码实现**：[`losses.py:SIGReg`](JEPA/lejepa-identifiability/experiments/lejepa_id/losses.py:8) 逐行解析，张量形状追踪 `(V,B,N) → scalar`
|
||
- **vs VICReg**：SIGReg 约束全分布（所有阶矩），VICReg 只约束二阶矩（协方差）
|
||
- **超参数**：`knots=17, n_slices=256, t_max=3.0, lamb=1e-3`
|
||
|
||
#### 专题 VIII：线性 ICA——FastICA 与 JADE（[`JEPA/math/08_linear_ica_fastica_jade.md`](JEPA/math/08_linear_ica_fastica_jade.md)，701 行）
|
||
|
||
线性 ICA 是 LeJEPA 可识别性理论的重要对比背景，两者构成"对偶反转"关系。
|
||
|
||
**核心知识点：**
|
||
- **盲源分离模型**：$x = As$，目标恢复 $W = A^{-1}$（至置换+缩放等价类）
|
||
- **非高斯性度量**：峰度 $\text{kurt}(y) = \mathbb{E}[y^4] - 3$、负熵 $J(y) = H(y_\text{Gauss}) - H(y)$、互信息
|
||
- **FastICA 不动点迭代**：$w^+ = \mathbb{E}[\tilde{x}\,g(w^\top\tilde{x})] - \mathbb{E}[g'(w^\top\tilde{x})]\,w$，三次收敛
|
||
- **JADE 联合对角化**：四阶累积量张量 $\mathcal{Q}_{ijkl}$，Jacobi 旋转，二次收敛
|
||
- **Darmois-Skitovich 定理**：至多一个高斯源时 ICA 可识别（置换+缩放等价）
|
||
- **对偶反转**：高斯分布在 ICA 中失败（旋转不变性），在 LeJEPA 中成功（Mehler 公式）
|
||
- **方法谱系**：FastICA/JADE（线性）→ SFA/iVAE/TCL/LeJEPA（非线性，各有额外约束）
|
||
|
||
**关键对比表：**
|
||
|
||
| 框架 | 高斯分布 | 可识别性类 | 核心工具 |
|
||
|------|---------|-----------|---------|
|
||
| FastICA/JADE | ❌ 失败 | 置换+缩放 | 高阶累积量 |
|
||
| LeJEPA | ✅ 成功 | 正交等价 | Mehler 公式 |
|
||
|
||
**README 更新：** [`JEPA/math/README.md`](JEPA/math/README.md) 已加入专题 VII、VIII 条目。
|