docs: rewrite README.md as full project index with all 67 documents
Sync to site1 / sync (push) Has been cancelled
Sync to site1 / sync (push) Has been cancelled
This commit is contained in:
gaojie
@@ -1,320 +1,141 @@
|
|||||||
---
|
---
|
||||||
title: "WorldModel 项目总览"
|
title: "WorldModel 项目文档总目录"
|
||||||
date: 2026-05-20
|
date: 2026-05-20
|
||||||
draft: false
|
draft: false
|
||||||
tags: ["世界模型", "PRISM", "CrowdRoom", "空间感知", "3D 重建", "机器人", "数字孪生", "具身智能"]
|
tags: ["worldmodel", "index", "目录"]
|
||||||
categories: ["worldmodel"]
|
categories: ["worldmodel"]
|
||||||
description: "以酒店场景为切入点，融合 iPhone RoomPlan 离线先验与 ZED 2i 在线感知，构建从几何重建到物理交互验证全流程闭环的室内世界模型研究平台。"
|
description: "WorldModel 项目全部文档的分类索引，涵盖 PRISM、CrowdRoom、RoomPlan、HotelScene、Camera、研究论文六大方向，共 67 篇文档。"
|
||||||
---
|
---
|
||||||
|
|
||||||
# WorldModel 项目总览
|
# WorldModel 项目文档总目录
|
||||||
|
|
||||||
## 项目简介
|
WorldModel 是一个以**室内物理世界理解**为核心目标的研究型工程项目，以酒店场景作为真实复杂环境的切入点。项目构建从毫米级几何重建、开放词表语义理解，到物理准确交互仿真的完整技术闭环，为具身智能（Embodied AI）在真实场景中的落地提供可验证的技术平台。核心理念是**"先验 + 在线"双流融合**：利用消费级 iPhone（RoomPlan）建立高质量空间先验地图，再通过 ZED 2i 立体相机进行在线感知与增量更新，两路异构数据在统一的空间记忆架构（PRISM）中汇聚。应用场景涵盖酒店服务机器人导航与操作、室内数字孪生建模、具身智能仿真验证平台，以及众包 3D 房间数据共享社区（CrowdRoom）。
|
||||||
|
|
||||||
WorldModel 是一个以**室内物理世界理解**为核心目标的研究型工程项目。项目以酒店场景作为真实复杂环境的切入点，致力于构建一套从毫米级几何重建、开放词表语义理解，到物理准确交互仿真的完整技术闭环，最终为具身智能（Embodied AI）在真实场景中的落地提供可验证的技术平台。
|
|
||||||
|
|
||||||
项目的核心理念是**"先验 + 在线"双流融合**：利用消费级 iPhone（RoomPlan）在离线阶段建立高质量空间先验地图，再通过 ZED 2i 立体相机在机器人运行时进行在线感知与增量更新，两路异构数据在统一的空间记忆架构（PRISM）中汇聚，形成机器人可查询、可预测的长期空间记忆。
|
|
||||||
|
|
||||||
应用场景涵盖：酒店服务机器人导航与操作、室内数字孪生建模、具身智能仿真验证平台、众包 3D 房间数据共享社区（CrowdRoom）。项目同步推进学术研究（顶会论文投稿）与工程落地（开源代码库、公开数据集），预期在 12 个月内完成从数据采集到系统验证的全流程。
|
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 子项目概览
|
## 文档分类统计
|
||||||
|
|
||||||
### PRISM — 机器人空间记忆架构
|
| 分类 | 文件数 | 简介 |
|
||||||
|
|------|--------|------|
|
||||||
**Prior-Registered Integrated Spatial Memory**，是整个 WorldModel 项目的核心"消化层"。
|
| 🏨 HotelScene | 6 | 酒店场景室内建模与物理验证项目规划文档 |
|
||||||
|
| 📷 Camera | 6 | ZED 2i 立体相机采集方案与国产替代调研 |
|
||||||
| 维度 | 内容 |
|
| 🏠 CrowdRoom | 13 | 众包 3D 房间共享平台完整设计文档 |
|
||||||
|------|------|
|
| 🔮 PRISM | 26 | 机器人空间记忆架构（20 章节 + 配套文档） |
|
||||||
| **定位** | 融合 iPhone 先验地图与 ZED 2i 在线感知的机器人空间记忆架构 |
|
| 📱 RoomPlan | 7 | iPhone 3D 重建方案与数据格式规范 |
|
||||||
| **核心隐喻** | 棱镜把白光分成七色 → PRISM 把原始观测分到四层记忆，查询时再汇聚为决策 |
|
| 🔬 research | 9 | 世界模型、空间记忆、SLAM 等学术调研 |
|
||||||
| **四层记忆** | L1 感知缓冲 / L2 度量地图 / L3 拓扑图 / L4 语义场 |
|
| **合计** | **67** | |
|
||||||
| **四条管线** | A: iPhone 离线建图 → B: ZED 上线重定位 → C: 在线增量感知 → D: 睡眠期记忆巩固 |
|
|
||||||
| **当前版本** | v2.0（仿脑升级：GridMetric / DG / Predictive 等 8 个仿脑模块） |
|
|
||||||
| **技术难度评分** | 62 / 100（行业贡献评分 48 / 100） |
|
|
||||||
| **文档数量** | 20 个章节文件 + 配套工具链（PDF 出版管线） |
|
|
||||||
|
|
||||||
**PRISM 的上下游关系**：
|
|
||||||
- 上游：`plans/iphone/`（RoomPlan 采集方案）、`plans/camera/`（ZED 2i 采集方案）
|
|
||||||
- 下游：M-JEPA / DreamerV3 世界模型接口（`11_world_model_bridge.md`）
|
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
### CrowdRoom — 众包 3D 房间共享平台
|
## 🏨 HotelScene — 酒店场景数字孪生
|
||||||
|
|
||||||
**一句话定位**：RoomPlan 版 Sketchfab + Pinterest —— 让普通 iPhone 用户「扫一扫家、传上来、被别人 Remix」的众包房间扫描共享平台。
|
以酒店为真实复杂场景，验证从几何重建到物理交互的全流程技术方案。涵盖执行摘要、详细实施计划（三部曲）及项目总览，是整个 WorldModel 项目的工程落地基础。
|
||||||
|
|
||||||
| 维度 | 内容 |
|
- [酒店场景室内建模与物理验证项目 - 规划文档总览](plans/)
|
||||||
|------|------|
|
- [酒店场景室内建模与物理验证项目 - 执行摘要](plans/EXECUTIVE_SUMMARY/)
|
||||||
| **目标用户** | 普通 iPhone 用户 + 装修灵感党 |
|
- [酒店场景下的室内建模与物理验证落地实施方案](plans/hotel_model/)
|
||||||
| **采集硬件** | iPhone 12 Pro+（RoomPlan，消费级即可） |
|
- [酒店场景室内建模与物理验证项目详细实施计划](plans/hotel_scene_implementation_plan/)
|
||||||
| **数据分层** | 4 个固定逻辑层：墙 / 地 / 家具 / 材质 |
|
- [酒店场景室内建模与物理验证项目详细实施计划（续）](plans/hotel_scene_implementation_plan_part2/)
|
||||||
| **核心交互** | 浏览器内图层切换 + 换材质换家具 + Remix（零下载、零安装） |
|
- [酒店场景室内建模与物理验证项目详细实施计划（完结篇）](plans/hotel_scene_implementation_plan_part3/)
|
||||||
| **Remix 模型** | Fork 模型（引用 + 覆盖层，零拷贝几何，不深拷贝 .glb） |
|
|
||||||
| **隐私设计** | 端侧人脸脱敏（CIGaussianBlur）+ 位置仅城市级 5 km 网格 + 默认私有 |
|
|
||||||
| **技术栈** | iOS RoomPlan + Supabase（9 张表 + RLS）+ Next.js + R3F + Cloudflare R2 CDN |
|
|
||||||
| **当前版本** | v0.2（2026-05-19，设计阶段完成，等待进入 M1 实施） |
|
|
||||||
| **文档数量** | 9 份设计文档（总览 / 数据模型 / API 契约 / iOS / Web / 隐私 / 治理 / 路线图 / 变更日志） |
|
|
||||||
|
|
||||||
**与 PRISM 的边界**：CrowdRoom 是 PRISM 的**消费级前台**，不复用 PRISM 的重定位 / 在线感知 / 巩固管线；PRISM 面向机器人，CrowdRoom 面向普通用户。
|
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
### camera — 相机采集方案
|
## 📷 Camera — 相机采集方案
|
||||||
|
|
||||||
专注于 ZED 2i 立体相机在室内场景的工程化落地，以及国内替代方案调研。
|
专注于 ZED 2i 立体相机在室内场景的工程化落地，涵盖综合方案对比、双目+IMU 完整解决方案、迭代开发框架、国产替代调研，以及相关 GitHub 开源项目汇总。
|
||||||
|
|
||||||
| 文档 | 内容 |
|
- [摄像头方案文档集](plans/camera/)
|
||||||
|------|------|
|
- [酒店场景3D重建摄像头方案全解析](plans/camera/camera_solutions_comprehensive/)
|
||||||
| `camera_solutions_comprehensive.md` | 综合相机方案对比（深度相机、立体相机、LiDAR 等） |
|
- [摄像头方案对应的GitHub开源项目](plans/camera/github_opensource_projects/)
|
||||||
| `zed2i_stereo_imu_solution.md` | ZED 2i + IMU 立体视觉惯性里程计方案 |
|
- [ZED 2i 国产化替代方案对照](plans/camera/zed2i_china_alternatives/)
|
||||||
| `zed2i_iterative_framework.md` | ZED 2i 迭代开发框架（从 MVP 到完整系统） |
|
- [ZED 2i 数据 Pipeline 迭代框架](plans/camera/zed2i_iterative_framework/)
|
||||||
| `zed2i_china_alternatives.md` | ZED 2i 国内替代方案（奥比中光、华捷艾米等） |
|
- [ZED 2i 双目+IMU 完整解决方案](plans/camera/zed2i_stereo_imu_solution/)
|
||||||
| `github_opensource_projects.md` | 相关开源项目汇总（SLAM、VIO、3DGS 等） |
|
|
||||||
|
|
||||||
**核心硬件**：Livox Mid-360 LiDAR（1.5 万）+ ZED 2i 立体相机 + Azure Kinect DK ×2 + 偏振相机（Lucid Phoenix，3.0 万）+ 2×RTX 4090 工作站（8.0 万）。
|
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
### iphone — iPhone 3D 重建方案
|
## 🏠 CrowdRoom — 众包 3D 房间共享平台
|
||||||
|
|
||||||
利用 iPhone 12 Pro+ 内置 LiDAR 与 Apple RoomPlan API 实现消费级室内 3D 重建。
|
RoomPlan 版 Sketchfab + Pinterest，让普通 iPhone 用户「扫一扫家、传上来、被别人 Remix」的众包房间扫描共享平台。文档覆盖产品总览、数据模型、API 契约、iOS/Web 端设计、隐私治理、路线图等完整设计体系。
|
||||||
|
|
||||||
| 文档 | 内容 |
|
- [CrowdRoom · 项目入口](plans/CrowdRoom/)
|
||||||
|------|------|
|
- [CrowdRoom · 总览（v0.1）](plans/CrowdRoom/00_overview/)
|
||||||
| `iphone_simplified_plan.md` | 简化版 iPhone 重建方案（快速上手） |
|
- [CrowdRoom · 数据模型与 Storage 规范](plans/CrowdRoom/01_data_schema/)
|
||||||
| `data_format_specification.md` | 数据格式规范（USDZ / OBJ / glTF / 点云） |
|
- [CrowdRoom · API 契约与转码管线](plans/CrowdRoom/02_api_contract/)
|
||||||
| `roomplan_accuracy_and_cad_export.md` | RoomPlan 精度评测与 CAD 导出方案 |
|
- [CrowdRoom · iOS App 设计](plans/CrowdRoom/03_ios_app_plan/)
|
||||||
| `iphone_3d_reconstruction_opensource.md` | iPhone 3D 重建相关开源项目汇总 |
|
- [CrowdRoom · Web 端设计](plans/CrowdRoom/04_web_app_plan/)
|
||||||
|
- [CrowdRoom · 物品替换实施手册](plans/CrowdRoom/05_object_replacement_handbook/)
|
||||||
**关键能力**：RoomPlan 输出结构化房间模型（墙 / 门 / 窗 / 家具），精度约 1–3 cm，可直接导出 USDZ 供 PRISM 管线 A 消费。
|
- [CrowdRoom · 隐私设计](plans/CrowdRoom/09_privacy/)
|
||||||
|
- [CrowdRoom · 治理与社区规则](plans/CrowdRoom/10_governance/)
|
||||||
|
- [CrowdRoom · 资产库模块设计](plans/CrowdRoom/11_asset_library/)
|
||||||
|
- [CrowdRoom · 基于 GitHub 成熟开源项目的工程执行方案](plans/CrowdRoom/EXECUTION_PLAN/)
|
||||||
|
- [CrowdRoom · 路线图](plans/CrowdRoom/ROADMAP/)
|
||||||
|
- [CrowdRoom · 变更日志](plans/CrowdRoom/CHANGELOG/)
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
### hotel — 酒店场景数字孪生
|
## 🔮 PRISM — 机器人空间记忆架构
|
||||||
|
|
||||||
以酒店为真实复杂场景，验证从几何重建到物理交互的全流程技术方案。
|
**Prior-Registered Integrated Spatial Memory**，整个 WorldModel 项目的核心"消化层"。融合 iPhone 先验地图与 ZED 2i 在线感知，构建四层空间记忆（L1 感知缓冲 / L2 度量地图 / L3 拓扑图 / L4 语义场）与四条管线（离线建图 / 重定位 / 在线感知 / 记忆巩固）。当前版本 v2.0，包含 8 个仿脑模块升级。
|
||||||
|
|
||||||
| 场景类型 | 核心挑战 | 技术方案 | 创新性 |
|
- [PRISM 项目入口](plans/PRISM/)
|
||||||
|---------|---------|---------|--------|
|
- [Chapter 00 — 总览与命名由来](plans/PRISM/00_overview/)
|
||||||
| **公共区域** | 大尺度、动态干扰 | FAST-LIO2 + YOLO 动态滤除 + Hierarchical 3DGS | ⭐⭐⭐ |
|
- [Chapter 01 — 两方案能力解构](plans/PRISM/01_capability_decomposition/)
|
||||||
| **客房** | 空间紧凑、遮挡多 | Gaussian-SLAM + SAM/CLIP 语义 + 场景图 | ⭐⭐⭐⭐ |
|
- [Chapter 02 — 四层空间记忆架构](plans/PRISM/02_architecture/)
|
||||||
| **卫生间** | 高反光、无纹理 | 偏振成像 + Ref-NeRF + 抗反射 ToF | ⭐⭐⭐⭐⭐ |
|
- [Chapter 03 — 统一数据模型](plans/PRISM/03_data_schema/)
|
||||||
|
- [Chapter 04 — 管线 A：iPhone 离线建图](plans/PRISM/04_pipeline_A_iphone_offline/)
|
||||||
**关键指标目标**：
|
- [Chapter 05 — 管线 B：ZED 2i 重定位握手](plans/PRISM/05_pipeline_B_relocalization/)
|
||||||
|
- [Chapter 06 — 管线 C：在线感知与差异检测](plans/PRISM/06_pipeline_C_online_perception/)
|
||||||
```yaml
|
- [Chapter 07 — 管线 D：记忆巩固](plans/PRISM/07_pipeline_D_consolidation/)
|
||||||
几何精度: Chamfer Distance < 3 cm
|
- [Chapter 08 — 端到端运行时序](plans/PRISM/08_runtime_timeline/)
|
||||||
渲染质量: PSNR > 28 dB, SSIM > 0.85
|
- [Chapter 09 — 实施路线图](plans/PRISM/09_roadmap/)
|
||||||
语义检测: mAP@0.5 > 70%
|
- [Chapter 10 — 技术栈选型](plans/PRISM/10_tech_stack/)
|
||||||
物理任务: 成功率 > 75%
|
- [Chapter 11 — 与世界模型的衔接](plans/PRISM/11_world_model_bridge/)
|
||||||
实时性能: 30+ FPS @ 1080p
|
- [Chapter 12 — 风险与对策](plans/PRISM/12_risks/)
|
||||||
```
|
- [Chapter 13 — 评测指标](plans/PRISM/13_evaluation/)
|
||||||
|
- [Chapter 14 — 最小可复现 demo (MVP)](plans/PRISM/14_mvp/)
|
||||||
**项目规模**：12 个月 / 7 人核心团队 / 总预算 296.8 万元 / 目标 10 个酒店场景。
|
- [Chapter 15 — 缩略语表](plans/PRISM/15_glossary/)
|
||||||
|
- [Chapter 16 — 文档与代码统计](plans/PRISM/16_stats/)
|
||||||
|
- [Chapter 17 — 变更日志](plans/PRISM/17_changelog/)
|
||||||
|
- [Chapter 18 — Lyra 2.0 启发的设计原则](plans/PRISM/18_lyra_inspirations/)
|
||||||
|
- [Chapter 19 — PRISM 2.0：仿脑空间记忆架构升级](plans/PRISM/19_v2_brain_inspired_upgrade/)
|
||||||
|
- [PRISM 项目顶层变更日志](plans/PRISM/CHANGELOG/)
|
||||||
|
- [PRISM 同档项目对比综述](plans/PRISM/comparison/)
|
||||||
|
- [PRISM 对机器人行业贡献的评分](plans/PRISM/rate_industry/)
|
||||||
|
- [PRISM 技术难度评分](plans/PRISM/rate/)
|
||||||
|
- [PRISM 机器人大脑空间记忆架构](plans/PRISM/robot_brain_spatial_memory/)
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 研究方向
|
## 📱 RoomPlan — iPhone 3D 重建方案
|
||||||
|
|
||||||
`research/` 目录汇聚了支撑上述工程子项目的学术调研，覆盖以下领域：
|
利用 iPhone 12 Pro+ 内置 LiDAR 与 Apple RoomPlan API 实现消费级室内 3D 重建。涵盖开源项目研究、数据格式规范（USDZ/OBJ/glTF/点云）、精度分析与 CAD 导出方案，以及文件整理指南。
|
||||||
|
|
||||||
### 世界模型（World Models）
|
- [iPhone 3D重建方案文档集](plans/iphone/)
|
||||||
|
- [酒店场景建模项目 - 数据格式规范](plans/iphone/data_format_specification/)
|
||||||
- [`world_models_review.md`](research/world_models_review.md)：世界模型技术综述，涵盖 JEPA、DreamerV3、RSSM 等主流框架，梳理从视频预测到具身智能的演进脉络。
|
- [酒店场景建模项目 - 数据格式规范（续）](plans/iphone/data_format_specification_part2/)
|
||||||
- [`physics_world_models_review.md`](research/physics_world_models_review.md)：物理世界模型专项综述，聚焦可微分物理仿真、神经物理引擎、物理约束生成模型。
|
- [文件整理指南](plans/iphone/FILE_REORGANIZATION_GUIDE/)
|
||||||
- [`understanding_physics_research_plan.md`](research/understanding_physics_research_plan.md)：物理世界理解研究计划，定义从感知到预测的研究路线。
|
- [iPhone 3D重建开源项目研究报告](plans/iphone/iphone_3d_reconstruction_opensource/)
|
||||||
|
- [基于iPhone的酒店场景建模简易方案](plans/iphone/iphone_simplified_plan/)
|
||||||
### 人类空间记忆（Human Spatial Memory）
|
- [iPhone RoomPlan 精度分析与CAD图纸生成方案](plans/iphone/roomplan_accuracy_and_cad_export/)
|
||||||
|
|
||||||
- [`human_spatial_memory.md`](research/human_spatial_memory.md)：人类空间记忆神经科学综述，涵盖海马体位置细胞、网格细胞、认知地图理论，为 PRISM 2.0 仿脑设计提供生物学依据。
|
|
||||||
|
|
||||||
### 众包 3D 重建（Crowdsourced 3D Reconstruction）
|
|
||||||
|
|
||||||
- [`crowdroom_related_papers_2026.md`](research/crowdroom_related_papers_2026.md)：CrowdRoom 相关论文综述（2026 年最新），涵盖众包建图、隐私保护 3D 重建、UGC 平台设计。
|
|
||||||
- [`crowdroom_papers_raw.json`](research/crowdroom_papers_raw.json) / [`arxiv_parsed.txt`](research/arxiv_parsed.txt)：arXiv 论文原始抓取数据。
|
|
||||||
|
|
||||||
### SLAM / VIO（视觉惯性里程计）
|
|
||||||
|
|
||||||
- [`zed2i_arxiv_live_review.md`](research/zed2i_arxiv_live_review.md)：ZED 2i 相关 arXiv 论文实时综述。
|
|
||||||
- [`zed2i_stereo_vio_arxiv_review.md`](research/zed2i_stereo_vio_arxiv_review.md)：立体视觉惯性里程计 arXiv 综述，覆盖 VINS-Fusion、OpenVINS、Kimera 等主流系统。
|
|
||||||
|
|
||||||
### Lyra 2.0 启发
|
|
||||||
|
|
||||||
- [`lyra2_paper.txt`](research/lyra2_paper.txt) / [`lyra2_review.md`](research/lyra2_review.md)：Google Lyra 2.0 论文精读，其路由/内容分离、keyframe 真源、self-augmentation 设计原则被引入 PRISM v1.5 升级。
|
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 目录结构
|
## 🔬 research — 学术调研
|
||||||
|
|
||||||
```
|
支撑上述工程子项目的学术调研文档，覆盖世界模型技术综述、物理世界模型、人类空间记忆神经科学、众包 3D 重建、SLAM/VIO 前沿进展，以及 Lyra 2.0 精读与物理世界理解研究计划。
|
||||||
worldmodel/
|
|
||||||
├── README.md # 本文件：项目总览（Hugo 格式）
|
- [论文调研索引](research/)
|
||||||
│
|
- [AI世界模型（World Models）技术综述](research/world_models_review/)
|
||||||
├── plans/ # 工程规划文档
|
- [Lyra 2.0 中文译读](research/lyra2_review/)
|
||||||
│ ├── README.md # plans 目录导航
|
- [面向物理世界的AI世界模型技术综述](research/physics_world_models_review/)
|
||||||
│ ├── EXECUTIVE_SUMMARY.md # 执行摘要（酒店场景数字孪生）
|
- [人类空间记忆：大脑如何构建、存储与更新空间信息](research/human_spatial_memory/)
|
||||||
│ ├── hotel_scene_implementation_plan.md # 酒店方案 Part 1
|
- [CrowdRoom 相关论文综述（2026）](research/crowdroom_related_papers_2026/)
|
||||||
│ ├── hotel_scene_implementation_plan_part2.md # 酒店方案 Part 2
|
- [ZED 2i 数据 Pipeline 实时 arXiv 综述](research/zed2i_arxiv_live_review/)
|
||||||
│ ├── hotel_scene_implementation_plan_part3.md # 酒店方案 Part 3
|
- [双目立体 + VIO + 神经建图 arXiv 综述](research/zed2i_stereo_vio_arxiv_review/)
|
||||||
│ ├── hotel_model.md # 原始项目方案
|
- [物理世界理解方向科研计划书](research/understanding_physics_research_plan/)
|
||||||
│ │
|
|
||||||
│ ├── PRISM/ # 机器人空间记忆架构（20 章节）
|
|
||||||
│ │ ├── README.md # PRISM 入口与章节导航
|
|
||||||
│ │ ├── 00_overview.md # 总览与命名由来
|
|
||||||
│ │ ├── 01_capability_decomposition.md # iPhone vs ZED 2i 能力解构
|
|
||||||
│ │ ├── 02_architecture.md # 四层空间记忆架构
|
|
||||||
│ │ ├── 03_data_schema.md # 统一数据模型
|
|
||||||
│ │ ├── 04_pipeline_A_iphone_offline.md
|
|
||||||
│ │ ├── 05_pipeline_B_relocalization.md
|
|
||||||
│ │ ├── 06_pipeline_C_online_perception.md
|
|
||||||
│ │ ├── 07_pipeline_D_consolidation.md
|
|
||||||
│ │ ├── 08_runtime_timeline.md
|
|
||||||
│ │ ├── 09_roadmap.md # 8 周原型路线图
|
|
||||||
│ │ ├── 10_tech_stack.md # 技术栈选型
|
|
||||||
│ │ ├── 11_world_model_bridge.md # 衔接 M-JEPA / DreamerV3
|
|
||||||
│ │ ├── 12_risks.md
|
|
||||||
│ │ ├── 13_evaluation.md
|
|
||||||
│ │ ├── 14_mvp.md
|
|
||||||
│ │ ├── 18_lyra_inspirations.md # Lyra 2.0 启发的设计原则
|
|
||||||
│ │ ├── 19_v2_brain_inspired_upgrade.md # PRISM 2.0 仿脑升级
|
|
||||||
│ │ ├── comparison.md / rate.md / rate_industry.md
|
|
||||||
│ │ ├── CHANGELOG.md / VERSION
|
|
||||||
│ │ └── tools/ # PDF 出版工具链
|
|
||||||
│ │
|
|
||||||
│ ├── CrowdRoom/ # 众包 3D 房间共享平台（9 文档）
|
|
||||||
│ │ ├── README.md # CrowdRoom 入口
|
|
||||||
│ │ ├── 00_overview.md # 产品定位与架构
|
|
||||||
│ │ ├── 01_data_schema.md # Supabase 9 张表 DDL + RLS
|
|
||||||
│ │ ├── 02_api_contract.md # 19 端点 + 40 错误码
|
|
||||||
│ │ ├── 03_ios_app_plan.md # iOS App 设计（5 Tab 22 页面）
|
|
||||||
│ │ ├── 04_web_app_plan.md # Web 端（Next.js + R3F）
|
|
||||||
│ │ ├── 09_privacy.md # 隐私设计（GDPR/PIPL 合规）
|
|
||||||
│ │ ├── 10_governance.md # 治理与社区规则
|
|
||||||
│ │ ├── ROADMAP.md # M1–M4 里程碑
|
|
||||||
│ │ └── CHANGELOG.md
|
|
||||||
│ │
|
|
||||||
│ ├── camera/ # ZED 2i 相机采集方案
|
|
||||||
│ │ ├── README.md
|
|
||||||
│ │ ├── camera_solutions_comprehensive.md
|
|
||||||
│ │ ├── zed2i_stereo_imu_solution.md
|
|
||||||
│ │ ├── zed2i_iterative_framework.md
|
|
||||||
│ │ ├── zed2i_china_alternatives.md
|
|
||||||
│ │ └── github_opensource_projects.md
|
|
||||||
│ │
|
|
||||||
│ └── iphone/ # iPhone RoomPlan 采集方案
|
|
||||||
│ ├── README.md
|
|
||||||
│ ├── iphone_simplified_plan.md
|
|
||||||
│ ├── data_format_specification.md
|
|
||||||
│ ├── roomplan_accuracy_and_cad_export.md
|
|
||||||
│ └── iphone_3d_reconstruction_opensource.md
|
|
||||||
│
|
|
||||||
└── research/ # 学术调研文档
|
|
||||||
├── world_models_review.md # 世界模型综述
|
|
||||||
├── physics_world_models_review.md # 物理世界模型综述
|
|
||||||
├── human_spatial_memory.md # 人类空间记忆神经科学
|
|
||||||
├── crowdroom_related_papers_2026.md # CrowdRoom 相关论文
|
|
||||||
├── zed2i_arxiv_live_review.md # ZED 2i arXiv 综述
|
|
||||||
├── zed2i_stereo_vio_arxiv_review.md # 立体 VIO 综述
|
|
||||||
├── lyra2_review.md # Lyra 2.0 精读
|
|
||||||
└── understanding_physics_research_plan.md
|
|
||||||
```
|
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## 技术栈关键词
|
**文档版本**：v2.0
|
||||||
|
|
||||||
### 感知与重建
|
|
||||||
|
|
||||||
- **SLAM**：FAST-LIO2、Gaussian-SLAM、TSDF 增量建图
|
|
||||||
- **3D 表示**：3D Gaussian Splatting（3DGS）、NeRF、Ref-NeRF、点云
|
|
||||||
- **重定位**：CLIP 粗匹配 + TEASER++ / ICP 精配准
|
|
||||||
- **特殊场景**：偏振成像（Lucid Phoenix）+ Ref-NeRF（高反光卫生间）
|
|
||||||
|
|
||||||
### 语义理解
|
|
||||||
|
|
||||||
- **开放词表**：CLIP 特征 + 多视角融合语义场
|
|
||||||
- **实例分割**：SAM（Segment Anything Model）
|
|
||||||
- **目标检测**：YOLO（动态物体滤除）
|
|
||||||
|
|
||||||
### 世界模型与物理仿真
|
|
||||||
|
|
||||||
- **世界模型**：M-JEPA、DreamerV3、RSSM
|
|
||||||
- **物理仿真**：NVIDIA Isaac Sim
|
|
||||||
- **仿脑设计**：GridMetric（类网格细胞）、DG（类齿状回）、PredictiveLayer（预测编码）
|
|
||||||
|
|
||||||
### 数据与存储
|
|
||||||
|
|
||||||
- **移动端采集**：Apple RoomPlan API（iPhone 12 Pro+）、ZED 2i SDK
|
|
||||||
- **数据格式**：USDZ、glTF/glb（Draco/Meshopt 压缩）、PLY 点云
|
|
||||||
- **后端**：Supabase（Postgres + RLS + Edge Functions + Realtime）
|
|
||||||
- **CDN**：Cloudflare R2 + Bunny
|
|
||||||
|
|
||||||
### 前端与可视化
|
|
||||||
|
|
||||||
- **Web 3D**：React Three Fiber（R3F）、Three.js
|
|
||||||
- **框架**：Next.js（App Router）
|
|
||||||
- **iOS**：SwiftUI + RoomPlan + ARKit
|
|
||||||
|
|
||||||
### 基础设施
|
|
||||||
|
|
||||||
- **计算**：2× RTX 4090 工作站、CUDA、PyTorch
|
|
||||||
- **机器人中间件**：ROS 2
|
|
||||||
- **版本控制**：Git + Keep-a-Changelog 规范
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 预期成果
|
|
||||||
|
|
||||||
### 学术成果
|
|
||||||
|
|
||||||
| 类型 | 目标 |
|
|
||||||
|------|------|
|
|
||||||
| 顶会论文 | 2–3 篇（CVPR / NeurIPS / RSS） |
|
|
||||||
| 评测基准 | HotelScene-Bench（几何 / 渲染 / 语义 / 物理四维度） |
|
|
||||||
| 预期引用 | > 50 次（2 年内） |
|
|
||||||
|
|
||||||
### 开源资源
|
|
||||||
|
|
||||||
| 类型 | 目标 |
|
|
||||||
|------|------|
|
|
||||||
| GitHub 代码库 | Stars > 1000 |
|
|
||||||
| 数据集（HuggingFace） | 下载 > 500 次 |
|
|
||||||
| 预训练模型 | M-JEPA 权重公开 |
|
|
||||||
| 教程文档 | 完整实施指南 + 演示视频 |
|
|
||||||
|
|
||||||
### 技术产出
|
|
||||||
|
|
||||||
- 10 个酒店场景数字孪生模型
|
|
||||||
- Isaac Sim 物理仿真环境
|
|
||||||
- 标准化 CAD 家具模型库
|
|
||||||
- CrowdRoom 众包平台（MVP）
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## 快速入门
|
|
||||||
|
|
||||||
### 了解项目全貌
|
|
||||||
|
|
||||||
1. 阅读本 README → 建立整体认知
|
|
||||||
2. 阅读 [`plans/EXECUTIVE_SUMMARY.md`](plans/EXECUTIVE_SUMMARY.md) → 了解执行摘要
|
|
||||||
3. 阅读 [`plans/PRISM/README.md`](plans/PRISM/README.md) → 深入核心架构
|
|
||||||
|
|
||||||
### 了解 PRISM 架构
|
|
||||||
|
|
||||||
按章节顺序阅读 [`plans/PRISM/00_overview.md`](plans/PRISM/00_overview.md) → [`02_architecture.md`](plans/PRISM/02_architecture.md) → [`08_runtime_timeline.md`](plans/PRISM/08_runtime_timeline.md)
|
|
||||||
|
|
||||||
### 了解 CrowdRoom 平台
|
|
||||||
|
|
||||||
阅读 [`plans/CrowdRoom/README.md`](plans/CrowdRoom/README.md) → [`plans/CrowdRoom/00_overview.md`](plans/CrowdRoom/00_overview.md)
|
|
||||||
|
|
||||||
### 了解研究背景
|
|
||||||
|
|
||||||
阅读 [`research/world_models_review.md`](research/world_models_review.md) 与 [`research/human_spatial_memory.md`](research/human_spatial_memory.md)
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
**文档版本**：v1.0
|
|
||||||
**创建日期**：2026-05-20
|
**创建日期**：2026-05-20
|
||||||
**许可证**：CC BY-NC 4.0
|
**许可证**：CC BY-NC 4.0
|
||||||
|
|||||||
Reference in New Issue
Block a user