worldmodel/plans/PRISM/README.md at 920439e0440eaaa16b2d004f52c97873cdc07b10

gaojie/worldmodel

Fork 0

Files

T

gaojie 0b12ff023c

Sync to site1 / sync (push) Has been cancelled

Details

chore: update PRISM categories from worldmodel to PRISM

2026-05-21 02:25:22 +08:00

7.0 KiB

Raw Blame History

title, date, draft, tags, categories

title

date

draft

Prior-Registered Integrated Spatial Memory

—— 一种融合 iPhone 先验地图与 ZED 2i 在线感知的机器人空间记忆架构

🌈 像棱镜把白光分成七色，PRISM 把两类异构 3D 数据分到四层空间记忆里，让机器人既"看得见当下"，又"记得住过去"。

一、命名由来

字母	含义	对应技术
P	Prior （先验）	iPhone RoomPlan 离线扫描得到的"建筑师图纸"
R	Registered （已配准）	CLIP 粗匹配 + TEASER++/ICP 把实时观测对齐到先验
I	Integrated （融合）	两路数据在统一 `SpatialMemory` Schema 中共存
S	Spatial （空间）	四层结构：感知缓冲 / 度量 / 拓扑 / 语义
M	Memory （记忆）	工作 → 短期 → 长期 + 巩固机制（仿人脑）

为什么是"棱镜 (Prism)"：

棱镜把一束白光分成多种颜色 ↔ PRISM 把机器人采集到的原始观测分到四层记忆
棱镜也能把多种颜色合回一束↔ 机器人查询时各层信息又汇聚为一次决策
一目了然、好读好搜，与 ROS/SLAM 社区已有项目不重名

二、章节导航（一章一文件）

#	文件	标题	一句话内容
00	`00_overview.md`	总览与命名由来	项目目标、核心理念、读者地图
01	`01_capability_decomposition.md`	两方案能力解构	iPhone vs ZED 2i 角色画像与互补性
02	`02_architecture.md`	四层空间记忆架构	L1 感知 / L2 度量 / L3 拓扑 / L4 语义
03	`03_data_schema.md`	统一数据模型	`SpatialNode` / `SpatialEdge` / `SpatialMemory`
04	`04_pipeline_A_iphone_offline.md`	管线 A：iPhone 离线建图	RoomPlan → 写入 L2/L3/L4
05	`05_pipeline_B_relocalization.md`	管线 B：ZED 上线握手	两段式重定位（CLIP→ICP）
06	`06_pipeline_C_online_perception.md`	管线 C：在线感知	TSDF 增量 + 差异检测
07	`07_pipeline_D_consolidation.md`	管线 D：记忆巩固	充电时"睡眠"，短期转长期
08	`08_runtime_timeline.md`	完整时序	T0→T4 端到端运行剧本
09	`09_roadmap.md`	8 周原型路线图	周度交付与里程碑
10	`10_tech_stack.md`	技术栈	存储/中间件/算法库选型
11	`11_world_model_bridge.md`	衔接世界模型	与 M-JEPA / DreamerV3 的接口
12	`12_risks.md`	风险与对策	6 大风险及缓解
13	`13_evaluation.md`	评测指标	重定位/一致性/语义/实时性
14	`14_mvp.md`	最小可复现 demo	5 步验证全闭环
18	`18_lyra_inspirations.md`	Lyra 2.0 启发的设计原则	路由/内容分离 + keyframe 真源 + self-augmentation
19	`19_v2_brain_inspired_upgrade.md`	🧠 PRISM 2.0：仿脑升级	8 个仿脑模块 (GridMetric/DG/Predictive...)，v1.5 → v2.0

配套文档与附录

文件	用途
`comparison.md`	同档项目对比综述(8 项目 + 4 个 Pipeline 维度矩阵)
`rate.md`	技术难度评分(62/100)
`rate_industry.md`	行业贡献评分(48/100)
`CHANGELOG.md`	版本变更日志(Keep-a-Changelog 风格)

三、阅读路径建议

🚀 30 分钟快速理解（决策者）

README → 00_overview.md → 01_capability_decomposition.md → 02_architecture.md → 08_runtime_timeline.md

💻 实施前完整阅读（工程师）

按章节顺序 00 → 14

四、与上层项目的关系

flowchart TB
    R["worldmodel/<br/><i>总项目：物理世界理解</i>"]
    P["plans/"]
    H["hotel_scene_implementation_plan.md<br/><i>酒店场景建模总方案</i>"]
    I["iphone/<br/><i>采集方案 1</i>"]
    C["camera/<br/><i>采集方案 2 (ZED 2i)</i>"]
    PR["<b>PRISM/</b><br/><i>本目录：把上面两者合成机器人大脑</i>"]
    RS["research/<br/><i>文献与综述</i>"]
    R --> P
    R --> RS
    P --> H
    P --> I
    P --> C
    P --> PR
    style PR fill:#ffe9b3,stroke:#c97a00,stroke-width:2px

PRISM 是"消化层"：上游的 iPhone 与 ZED 2i 各自负责"产数据"，PRISM 负责"把数据变成机器人能记住、能查询的记忆"。
PRISM 是"承上启下"：下游可对接 M-JEPA / 大模型 Agent，作为它们的空间上下文。

五、当前进度

[x] v1.0 主方案（robot_brain_spatial_memory.md）
[x] v1.1 拆分章节（本目录）
[x] v1.2 各章节细化（代码 + 接口 + 实验）+ PDF 出版管线
[x] v1.5 Lyra 2.0 启发升级 (路由/内容分离 + keyframe 真源 + self-augmentation)
[x] v2.0 仿脑设计 (8 个仿脑模块：GridMetric/DG/Predictive 等)
[ ] v2.0 原型实现 (P0 优先：GridMetric + DG + PredictiveLayer)

六、缩写速查表

缩写	全称	出现章节
PRISM	Prior-Registered Integrated Spatial Memory	全部
LTM	Long-Term Memory	02, 04, 07
WM	Working Memory	02, 06
L1–L4	四层记忆层	02
VIO	Visual-Inertial Odometry	05, 06
TSDF	Truncated Signed Distance Function	02, 06
3DGS	3D Gaussian Splatting	02, 06, 10
Anchor	重定位锚点	04, 05
delta/	差异记忆目录	06, 07

文档版本：v2.0.0 最后更新：2026-05-17 反馈：在 GitHub Issues 提出章节改进建议

🧠 PRISM 2.0 = 从「精准度量 + 被动记录」到「泛化度量 + 预测驱动」。大脑用几瓦功耗做到了终身空间记忆，没有理由不抄作业。

7.0 KiB Raw Blame History Unescape Escape

PRISM