gaojie/worldmodel
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
369ef29ceeaab2c11f1b02e78b7f8c3584741483
worldmodel/README.md
T

15 KiB
Raw Blame History

title, date, draft, tags, categories, description
title date draft tags categories description
WorldModel 项目总览 2026-05-20 false
世界模型
PRISM
CrowdRoom
空间感知
3D 重建
机器人
数字孪生
具身智能
worldmodel
以酒店场景为切入点，融合 iPhone RoomPlan 离线先验与 ZED 2i 在线感知，构建从几何重建到物理交互验证全流程闭环的室内世界模型研究平台。

WorldModel 项目总览

项目简介

WorldModel 是一个以室内物理世界理解为核心目标的研究型工程项目。项目以酒店场景作为真实复杂环境的切入点，致力于构建一套从毫米级几何重建、开放词表语义理解，到物理准确交互仿真的完整技术闭环，最终为具身智能（Embodied AI）在真实场景中的落地提供可验证的技术平台。

项目的核心理念是**"先验 + 在线"双流融合**：利用消费级 iPhone（RoomPlan）在离线阶段建立高质量空间先验地图，再通过 ZED 2i 立体相机在机器人运行时进行在线感知与增量更新，两路异构数据在统一的空间记忆架构（PRISM）中汇聚，形成机器人可查询、可预测的长期空间记忆。

应用场景涵盖：酒店服务机器人导航与操作、室内数字孪生建模、具身智能仿真验证平台、众包 3D 房间数据共享社区（CrowdRoom）。项目同步推进学术研究（顶会论文投稿）与工程落地（开源代码库、公开数据集），预期在 12 个月内完成从数据采集到系统验证的全流程。

子项目概览

PRISM — 机器人空间记忆架构

Prior-Registered Integrated Spatial Memory，是整个 WorldModel 项目的核心"消化层"。

维度 内容
定位 融合 iPhone 先验地图与 ZED 2i 在线感知的机器人空间记忆架构
核心隐喻 棱镜把白光分成七色 → PRISM 把原始观测分到四层记忆，查询时再汇聚为决策
四层记忆 L1 感知缓冲 / L2 度量地图 / L3 拓扑图 / L4 语义场
四条管线 A: iPhone 离线建图 → B: ZED 上线重定位 → C: 在线增量感知 → D: 睡眠期记忆巩固
当前版本 v2.0（仿脑升级：GridMetric / DG / Predictive 等 8 个仿脑模块）
技术难度评分 62 / 100（行业贡献评分 48 / 100）
文档数量 20 个章节文件 + 配套工具链（PDF 出版管线）

PRISM 的上下游关系：

  • 上游：plans/iphone/（RoomPlan 采集方案）、plans/camera/（ZED 2i 采集方案）
  • 下游：M-JEPA / DreamerV3 世界模型接口（11_world_model_bridge.md）

CrowdRoom — 众包 3D 房间共享平台

一句话定位：RoomPlan 版 Sketchfab + Pinterest —— 让普通 iPhone 用户「扫一扫家、传上来、被别人 Remix」的众包房间扫描共享平台。

维度 内容
目标用户 普通 iPhone 用户 + 装修灵感党
采集硬件 iPhone 12 Pro+（RoomPlan，消费级即可）
数据分层 4 个固定逻辑层：墙 / 地 / 家具 / 材质
核心交互 浏览器内图层切换 + 换材质换家具 + Remix（零下载、零安装）
Remix 模型 Fork 模型（引用 + 覆盖层，零拷贝几何，不深拷贝 .glb）
隐私设计 端侧人脸脱敏（CIGaussianBlur）+ 位置仅城市级 5 km 网格 + 默认私有
技术栈 iOS RoomPlan + Supabase（9 张表 + RLS）+ Next.js + R3F + Cloudflare R2 CDN
当前版本 v0.2（2026-05-19，设计阶段完成，等待进入 M1 实施）
文档数量 9 份设计文档（总览 / 数据模型 / API 契约 / iOS / Web / 隐私 / 治理 / 路线图 / 变更日志）

与 PRISM 的边界：CrowdRoom 是 PRISM 的消费级前台，不复用 PRISM 的重定位 / 在线感知 / 巩固管线；PRISM 面向机器人，CrowdRoom 面向普通用户。

camera — 相机采集方案

专注于 ZED 2i 立体相机在室内场景的工程化落地，以及国内替代方案调研。

文档 内容
camera_solutions_comprehensive.md 综合相机方案对比（深度相机、立体相机、LiDAR 等）
zed2i_stereo_imu_solution.md ZED 2i + IMU 立体视觉惯性里程计方案
zed2i_iterative_framework.md ZED 2i 迭代开发框架（从 MVP 到完整系统）
zed2i_china_alternatives.md ZED 2i 国内替代方案（奥比中光、华捷艾米等）
github_opensource_projects.md 相关开源项目汇总（SLAM、VIO、3DGS 等）

核心硬件：Livox Mid-360 LiDAR（1.5 万）+ ZED 2i 立体相机 + Azure Kinect DK ×2 + 偏振相机（Lucid Phoenix，3.0 万）+ 2×RTX 4090 工作站（8.0 万）。

iphone — iPhone 3D 重建方案

利用 iPhone 12 Pro+ 内置 LiDAR 与 Apple RoomPlan API 实现消费级室内 3D 重建。

文档 内容
iphone_simplified_plan.md 简化版 iPhone 重建方案（快速上手）
data_format_specification.md 数据格式规范（USDZ / OBJ / glTF / 点云）
roomplan_accuracy_and_cad_export.md RoomPlan 精度评测与 CAD 导出方案
iphone_3d_reconstruction_opensource.md iPhone 3D 重建相关开源项目汇总

关键能力：RoomPlan 输出结构化房间模型（墙 / 门 / 窗 / 家具），精度约 1–3 cm，可直接导出 USDZ 供 PRISM 管线 A 消费。

hotel — 酒店场景数字孪生

以酒店为真实复杂场景，验证从几何重建到物理交互的全流程技术方案。

场景类型 核心挑战 技术方案 创新性
公共区域 大尺度、动态干扰 FAST-LIO2 + YOLO 动态滤除 + Hierarchical 3DGS ⭐⭐⭐
客房 空间紧凑、遮挡多 Gaussian-SLAM + SAM/CLIP 语义 + 场景图 ⭐⭐⭐⭐
卫生间 高反光、无纹理 偏振成像 + Ref-NeRF + 抗反射 ToF ⭐⭐⭐⭐⭐

关键指标目标：

几何精度:    Chamfer Distance < 3 cm
渲染质量:    PSNR > 28 dB, SSIM > 0.85
语义检测:    mAP@0.5 > 70%
物理任务:    成功率 > 75%
实时性能:    30+ FPS @ 1080p

项目规模：12 个月 / 7 人核心团队 / 总预算 296.8 万元 / 目标 10 个酒店场景。

研究方向

research/ 目录汇聚了支撑上述工程子项目的学术调研，覆盖以下领域：

世界模型（World Models）

人类空间记忆（Human Spatial Memory）

  • human_spatial_memory.md：人类空间记忆神经科学综述，涵盖海马体位置细胞、网格细胞、认知地图理论，为 PRISM 2.0 仿脑设计提供生物学依据。

众包 3D 重建（Crowdsourced 3D Reconstruction）

SLAM / VIO（视觉惯性里程计）

Lyra 2.0 启发

  • lyra2_paper.txt / lyra2_review.md：Google Lyra 2.0 论文精读，其路由/内容分离、keyframe 真源、self-augmentation 设计原则被引入 PRISM v1.5 升级。

目录结构

worldmodel/
├── README.md                          # 本文件：项目总览（Hugo 格式）
│
├── plans/                             # 工程规划文档
│   ├── README.md                      # plans 目录导航
│   ├── EXECUTIVE_SUMMARY.md           # 执行摘要（酒店场景数字孪生）
│   ├── hotel_scene_implementation_plan.md        # 酒店方案 Part 1
│   ├── hotel_scene_implementation_plan_part2.md  # 酒店方案 Part 2
│   ├── hotel_scene_implementation_plan_part3.md  # 酒店方案 Part 3
│   ├── hotel_model.md                 # 原始项目方案
│   │
│   ├── PRISM/                         # 机器人空间记忆架构（20 章节）
│   │   ├── README.md                  # PRISM 入口与章节导航
│   │   ├── 00_overview.md             # 总览与命名由来
│   │   ├── 01_capability_decomposition.md  # iPhone vs ZED 2i 能力解构
│   │   ├── 02_architecture.md         # 四层空间记忆架构
│   │   ├── 03_data_schema.md          # 统一数据模型
│   │   ├── 04_pipeline_A_iphone_offline.md
│   │   ├── 05_pipeline_B_relocalization.md
│   │   ├── 06_pipeline_C_online_perception.md
│   │   ├── 07_pipeline_D_consolidation.md
│   │   ├── 08_runtime_timeline.md
│   │   ├── 09_roadmap.md              # 8 周原型路线图
│   │   ├── 10_tech_stack.md           # 技术栈选型
│   │   ├── 11_world_model_bridge.md   # 衔接 M-JEPA / DreamerV3
│   │   ├── 12_risks.md
│   │   ├── 13_evaluation.md
│   │   ├── 14_mvp.md
│   │   ├── 18_lyra_inspirations.md    # Lyra 2.0 启发的设计原则
│   │   ├── 19_v2_brain_inspired_upgrade.md  # PRISM 2.0 仿脑升级
│   │   ├── comparison.md / rate.md / rate_industry.md
│   │   ├── CHANGELOG.md / VERSION
│   │   └── tools/                     # PDF 出版工具链
│   │
│   ├── CrowdRoom/                     # 众包 3D 房间共享平台（9 文档）
│   │   ├── README.md                  # CrowdRoom 入口
│   │   ├── 00_overview.md             # 产品定位与架构
│   │   ├── 01_data_schema.md          # Supabase 9 张表 DDL + RLS
│   │   ├── 02_api_contract.md         # 19 端点 + 40 错误码
│   │   ├── 03_ios_app_plan.md         # iOS App 设计（5 Tab 22 页面）
│   │   ├── 04_web_app_plan.md         # Web 端（Next.js + R3F）
│   │   ├── 09_privacy.md              # 隐私设计（GDPR/PIPL 合规）
│   │   ├── 10_governance.md           # 治理与社区规则
│   │   ├── ROADMAP.md                 # M1–M4 里程碑
│   │   └── CHANGELOG.md
│   │
│   ├── camera/                        # ZED 2i 相机采集方案
│   │   ├── README.md
│   │   ├── camera_solutions_comprehensive.md
│   │   ├── zed2i_stereo_imu_solution.md
│   │   ├── zed2i_iterative_framework.md
│   │   ├── zed2i_china_alternatives.md
│   │   └── github_opensource_projects.md
│   │
│   └── iphone/                        # iPhone RoomPlan 采集方案
│       ├── README.md
│       ├── iphone_simplified_plan.md
│       ├── data_format_specification.md
│       ├── roomplan_accuracy_and_cad_export.md
│       └── iphone_3d_reconstruction_opensource.md
│
└── research/                          # 学术调研文档
    ├── world_models_review.md          # 世界模型综述
    ├── physics_world_models_review.md  # 物理世界模型综述
    ├── human_spatial_memory.md         # 人类空间记忆神经科学
    ├── crowdroom_related_papers_2026.md # CrowdRoom 相关论文
    ├── zed2i_arxiv_live_review.md      # ZED 2i arXiv 综述
    ├── zed2i_stereo_vio_arxiv_review.md # 立体 VIO 综述
    ├── lyra2_review.md                 # Lyra 2.0 精读
    └── understanding_physics_research_plan.md

技术栈关键词

感知与重建

  • SLAM：FAST-LIO2、Gaussian-SLAM、TSDF 增量建图
  • 3D 表示：3D Gaussian Splatting（3DGS）、NeRF、Ref-NeRF、点云
  • 重定位：CLIP 粗匹配 + TEASER++ / ICP 精配准
  • 特殊场景：偏振成像（Lucid Phoenix）+ Ref-NeRF（高反光卫生间）

语义理解

  • 开放词表：CLIP 特征 + 多视角融合语义场
  • 实例分割：SAM（Segment Anything Model）
  • 目标检测：YOLO（动态物体滤除）

世界模型与物理仿真

  • 世界模型：M-JEPA、DreamerV3、RSSM
  • 物理仿真：NVIDIA Isaac Sim
  • 仿脑设计：GridMetric（类网格细胞）、DG（类齿状回）、PredictiveLayer（预测编码）

数据与存储

  • 移动端采集：Apple RoomPlan API（iPhone 12 Pro+）、ZED 2i SDK
  • 数据格式：USDZ、glTF/glb（Draco/Meshopt 压缩）、PLY 点云
  • 后端：Supabase（Postgres + RLS + Edge Functions + Realtime）
  • CDN：Cloudflare R2 + Bunny

前端与可视化

  • Web 3D：React Three Fiber（R3F）、Three.js
  • 框架：Next.js（App Router）
  • iOS：SwiftUI + RoomPlan + ARKit

基础设施

  • 计算：2× RTX 4090 工作站、CUDA、PyTorch
  • 机器人中间件：ROS 2
  • 版本控制：Git + Keep-a-Changelog 规范

预期成果

学术成果

类型 目标
顶会论文 2–3 篇（CVPR / NeurIPS / RSS）
评测基准 HotelScene-Bench（几何 / 渲染 / 语义 / 物理四维度）
预期引用 > 50 次（2 年内）

开源资源

类型 目标
GitHub 代码库 Stars > 1000
数据集（HuggingFace） 下载 > 500 次
预训练模型 M-JEPA 权重公开
教程文档 完整实施指南 + 演示视频

技术产出

  • 10 个酒店场景数字孪生模型
  • Isaac Sim 物理仿真环境
  • 标准化 CAD 家具模型库
  • CrowdRoom 众包平台（MVP）

快速入门

了解项目全貌

  1. 阅读本 README → 建立整体认知
  2. 阅读 plans/EXECUTIVE_SUMMARY.md → 了解执行摘要
  3. 阅读 plans/PRISM/README.md → 深入核心架构

了解 PRISM 架构

按章节顺序阅读 plans/PRISM/00_overview.md → 02_architecture.md → 08_runtime_timeline.md

了解 CrowdRoom 平台

阅读 plans/CrowdRoom/README.md → plans/CrowdRoom/00_overview.md

了解研究背景

阅读 research/world_models_review.md 与 research/human_spatial_memory.md

文档版本：v1.0
创建日期：2026-05-20
许可证：CC BY-NC 4.0

Reference in New Issue View Git Blame Copy Permalink