--- title: "WorldModel 项目分析" date: 2026-06-01 tags: [worldmodel, analysis] --- # WorldModel 项目分析 > 生成时间:2026-06-01 > 项目路径:`/Users/mac/code/worldmodel` ## 📐 项目总览 WorldModel 是一个围绕**室内物理世界理解**(酒店场景切入)的**研究型工程项目**。核心目标是为具身智能提供可验证的技术平台。 - 216 个源文件(排除 node_modules),3.4 万总文件数 - **纯文档驱动型**:绝大部分是 Markdown,只有少量 Python/Shell 脚本做辅助 - Git 活跃维护中 --- ## 🧱 七大模块 ### 1. 🔮 PRISM(核心,~108 文件) **Prior-Registered Integrated Spatial Memory — 机器人空间记忆架构。** 四层空间记忆:L1感知缓冲 → L2度量地图 → L3拓扑图 → L4语义场。四条管线:离线建图(iPhone)/ 重定位握手 / 在线感知(ZED2i)/ 记忆巩固。已升级到 v2.0,有仿脑升级设计(Lyra 2.0 启发)。这是整个项目的"消化层"。 ### 2. 🏠 CrowdRoom(13 文件) 众包 3D 房间共享平台,定位是"RoomPlan版 Sketchfab + Pinterest"。涵盖数据模型、API 契约、iOS/Web端设计、物品替换手册、隐私治理和路线图。 ### 3. 📷 Camera(6 文件) ZED2i立体相机的工程化方案:双目+IMU完整解决方案、数据Pipeline迭代框架、国产替代调研。 ### 4. 📱 RoomPlan(7 文件) iPhone LiDAR + Apple RoomPlan API做消费级室内3D重建。涵盖开源项目调研、数据格式规范(USDZ/OBJ/glTF/点云)、精度分析。 ### 5. 🏨 HotelScene(4-6 文件) 以酒店为真实场景执行落地,分三部曲实施方案。 ### 6. 🎮 GameEngine(1文件) 引入 Unity/Unreal Engine做实时可视化、轻量物理沙盒和合成数据生成。 ### 7. 🔬 Research(~108文件 + PDF论文) 学术调研支撑:世界模型综述、Lyra2精读、人类空间记忆神经科学、SLAM/VIO/JEPA系列论文(含V-JEPA2源码剖析)、MultiPLY多感官感知项目、物理世界理解研究计划。 --- ## ⚙️ 技术架构(核心理念) **"先验 + 在线"双流融合:** - 📱 iPhone (RoomPlan) → 一次性高精度先验地图(LiDAR毫米级) - 📷 ZED2i → 持续在线感知与增量更新(立体+IMU) - 🧠 PRISM → 统一空间记忆架构汇聚两路数据 - 🎮 GameEngine → 数字孪生运行时(可视化/物理沙盒) --- ## 🔍 评价 **优势:** - 架构设计系统且深入,四层记忆分层有理有据(认知科学+SLAM工程的控制论交集) - 文档体系极其完善,PRISM有20章+配套工具链(LaTeX书构建、自动统计) - 学术调研扎实,覆盖JEPA/Lyra/MultiPLY等前沿方向 **待推进的(纯文档阶段):** - 目前几乎没有可运行的代码,都是设计文档和论文研究 - PRISM tools只有构建脚本(LaTeX/Python),没有核心架构的工程实现 - Camera、RoomPlan是方案设计,不是实际采集管线 简单说:**项目设计完成度极高,但工程实现基本从零起步。** PRISM是真正的核心引擎,CrowdRoom和HotelScene是两个应用场景。 --- ## 📝 工作记录(Session Log) ### 2026-06-05 — JEPA/math 专题扩展 **完成内容:** #### 专题 VII:SIGReg 正则化([`JEPA/math/07_sigreg_regularization.md`](JEPA/math/07_sigreg_regularization.md),760 行) SIGReg(Sketched Isotropic Gaussian Regularization)是 LeJEPA 的核心正则化组件,用于强制编码器输出满足各向同性高斯约束 $h(z) \sim \mathcal{N}(0, I_n)$,这是定理 1(线性可识别性)的关键前提。 **核心知识点:** - **特征函数匹配**:$\mathcal{L}_{\text{SIG}} = \mathbb{E}_a \int_0^{t_{\max}} |\hat{\varphi}_{h,a}(t) - e^{-t^2/2}|^2 \cdot e^{-t^2/2}\, dt$ - **Cramér-Wold 定理**:所有方向投影为 $\mathcal{N}(0,1)$ $\iff$ 联合分布为 $\mathcal{N}(0, I_n)$ - **切片技巧**:随机采样 256 个单位方向,将高维分布匹配降为一维问题 - **梯形积分**:17 个频率节点,$t \in [0, 3]$,权重 $\tilde{w}_k = w_k \cdot e^{-t_k^2/2}$ - **代码实现**:[`losses.py:SIGReg`](JEPA/lejepa-identifiability/experiments/lejepa_id/losses.py:8) 逐行解析,张量形状追踪 `(V,B,N) → scalar` - **vs VICReg**:SIGReg 约束全分布(所有阶矩),VICReg 只约束二阶矩(协方差) - **超参数**:`knots=17, n_slices=256, t_max=3.0, lamb=1e-3` #### 专题 VIII:线性 ICA——FastICA 与 JADE([`JEPA/math/08_linear_ica_fastica_jade.md`](JEPA/math/08_linear_ica_fastica_jade.md),701 行) 线性 ICA 是 LeJEPA 可识别性理论的重要对比背景,两者构成"对偶反转"关系。 **核心知识点:** - **盲源分离模型**:$x = As$,目标恢复 $W = A^{-1}$(至置换+缩放等价类) - **非高斯性度量**:峰度 $\text{kurt}(y) = \mathbb{E}[y^4] - 3$、负熵 $J(y) = H(y_\text{Gauss}) - H(y)$、互信息 - **FastICA 不动点迭代**:$w^+ = \mathbb{E}[\tilde{x}\,g(w^\top\tilde{x})] - \mathbb{E}[g'(w^\top\tilde{x})]\,w$,三次收敛 - **JADE 联合对角化**:四阶累积量张量 $\mathcal{Q}_{ijkl}$,Jacobi 旋转,二次收敛 - **Darmois-Skitovich 定理**:至多一个高斯源时 ICA 可识别(置换+缩放等价) - **对偶反转**:高斯分布在 ICA 中失败(旋转不变性),在 LeJEPA 中成功(Mehler 公式) - **方法谱系**:FastICA/JADE(线性)→ SFA/iVAE/TCL/LeJEPA(非线性,各有额外约束) **关键对比表:** | 框架 | 高斯分布 | 可识别性类 | 核心工具 | |------|---------|-----------|---------| | FastICA/JADE | ❌ 失败 | 置换+缩放 | 高阶累积量 | | LeJEPA | ✅ 成功 | 正交等价 | Mehler 公式 | **README 更新:** [`JEPA/math/README.md`](JEPA/math/README.md) 已加入专题 VII、VIII 条目。