gaojie/worldmodel
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
c66855adfc064687a111fe9a77062b23025f88a5
worldmodel/plans/PRISM/comparison.md
T
gaojie 0b12ff023c
Sync to site1 / sync (push) Has been cancelled
Details
chore: update PRISM categories from worldmodel to PRISM
2026-05-21 02:25:22 +08:00

21 KiB
Raw Blame History

title, date, draft, tags, categories
title date draft tags categories
PRISM 同档项目对比综述 2026-05-20 false
PRISM
世界模型
空间记忆
机器人
API
iOS
PRISM

PRISM 同档项目对比综述

范围:对 rate_industry.md 第 3.1 节列出的 4 个项目 (ConceptGraphs / HOV-SG / OpenScene / 3D-LLM) 做技术深读,并扩展加入 4 个强相关项目 (OK-Robot / Clio / ConceptFusion / OpenMask3D),共 8 个对比对象。

方法:通过 arXiv API 抓 abstract、GitHub API 抓 stars/license/活跃度、原始 README 抓硬件平台与数据集。原始数据存在 plans/PRISM/.research/ 目录,可复查。

撰写日期:2026-05-16 PRISM 版本:v1.2.0(假设全部完成态)

0. TL;DR(60 秒结论)

维度 当前 SOTA PRISM 与之差距
3D 场景图代表作 ConceptGraphs (ICRA 2024) 类似的双层 + 巩固机制,PRISM 多出"先验地图 + 在线感知"双源融合
分层场景图 HOV-SG (RSS 2024) HOV-SG 是 floor/room/object 三层;PRISM 多出 L4 语义事件层
真机大规模评测 OK-Robot (FAIR 2024) — 10 家 170 物体 PRISM 目前 0 真机,这是最大差距
任务驱动 + 信息瓶颈 Clio (RA-L 2024) PRISM 没有信息论框架,Clio 在理论侧领先
手机扫描 → 机器人 LTM 桥 (空白) PRISM 独占 — 是 PRISM 最差异化的贡献
酒店/家居垂直运维栈 (无人专注) PRISM 独占该垂类工程模板

核心判断:PRISM 在学术深度上落后 ConceptGraphs/Clio 一个身位,但在消费级先验地图集成与全栈工程化上有独特位置。如能把"iPhone RoomPlan → ROS 2 LTM"做成开源标准 + 真机部署,可与 ConceptGraphs 同档。

1. 项目速览矩阵

项目 发表 单位 Stars 许可证 最后更新 真机部署 数据集
PRISM (v1.2 蓝图) — — — — (待定) 2026-05-16 ❌ 0 真机 HotelScene-Bench (设计中)
ConceptGraphs ICRA 2024 CMU + MIT + Mila 868 MIT 2025-10-16 ✅ Jackal Replica + 自建
HOV-SG RSS 2024 Freiburg + Stuttgart 470 MIT 2026-01-19 ✅ Habitat → Real HM3DSem
Clio RA-L 2024 MIT-SPARK 239 BSD-2 2025-09-01 部分 自建 4 场景
OK-Robot arXiv 2024 FAIR 596 MIT 2024-03-04 ✅ Stretch × 10 家 现场真实家庭
3D-LLM NeurIPS 2023 Spotlight UMass + MIT + UCLA 1196 MIT 2024-06-06 ❌ 自建 300K QA
OpenMask3D NeurIPS 2023 ETH + Microsoft 259 MIT 2023-12-15 ❌ ScanNet200, Replica
OpenScene CVPR 2023 ETH + Google 820 Apache-2.0 2023-10-27 ❌ ScanNet, MP3D, nuScenes
ConceptFusion RSS 2023 Mila + MIT + CMU 233 MIT 2023-09-23 ❌ Replica + 真实采集

Stars 与 pushed_at 抓取于 2026-05-16 19:00 (UTC+8)。原始数据见 .research/projects.json。

2. 每个项目深度分析

2.1 ConceptGraphs (CMU + MIT + Mila, ICRA 2024)

  • 核心思想:从一系列 posed RGB-D 帧出发,用 SAM 提物体掩码 + CLIP 编码,多视图融合到 3D 物体节点,再由 GPT-4 推理"物体-物体"关系生成场景图。
  • 数据流:RGB-D → SAM 物体 mask → CLIP 嵌入 → 3D 物体节点 → LLM 推理关系 → JSON 场景图。
  • 真机验证:开源了 Jackal 机器人版本 (子仓库 concept_graphs_jackal),包含 nav + manipulation。
  • 关键创新:首个把场景图节点压缩为"单个 CLIP 嵌入 + 几何 mesh" 的方案,远比 OpenScene 的"per-point feature"省内存。
  • 局限:
    • 仅在静态 RGB-D 序列上工作,没有 lifelong 概念
    • 关系推理依赖 GPT-4,延迟和成本未优化
    • 实际真机评测以演示视频为主,缺定量指标
  • 行业贡献分: 52 / 100
  • PRISM 对比:
    • PRISM 多出:RoomPlan 先验、在线感知、巩固机制、版本控制
    • ConceptGraphs 多出:经过真机部署、有 ICRA 论文、社区生态(868 stars + jackal 子项目)

2.2 HOV-SG (Freiburg, RSS 2024)

  • 核心思想:Hierarchical Open-Vocabulary Scene Graph——三层(floor / room / object),每层节点都附带 CLIP 嵌入,支持自然语言查询。
  • 关键创新:
    • 首次把"楼层级"语义引入场景图(多数前作只到 room 级)
    • 在 HM3DSem 上做出完整 navigation pipeline + benchmark
    • 8 月 2024 还公开了 hm3dsem_walks 数据集
  • 真机验证:论文里有 Habitat 仿真 + 真机 RGB-D 测试 (Boston Dynamics Spot)。
  • 局限:仍是离线建图,不支持长期更新;floor 层级仅用平面检测启发式判断。
  • 行业贡献分: 50 / 100
  • PRISM 对比:
    • 结构上极相似:PRISM L2/L3/L4 ↔ HOV-SG floor/room/object
    • PRISM 多出:iPhone 先验、巩固、酒店运维场景
    • HOV-SG 多出:RSS 论文、HM3DSem benchmark、楼层分割算法

2.3 Clio (MIT-SPARK, RA-L 2024)

  • 核心思想:用信息瓶颈原理判断"什么物体/区域应该被纳入场景图":任务驱动,给定一组自然语言任务(如 "Read brown textbook"),决定语义粒度。
  • 关键创新:
    • 首次为开放词表场景图提供理论框架(Information Bottleneck)
    • 实时 (real-time) 运行,与 MIT-SPARK 的 Hydra / Kimera / Khronos 工具链深度集成
    • 后续 Bayesian Fields 2025 在同数据集做了延伸
  • 数据集:自建 4 个场景 (Office / Apartment / Cubicle / Building),含 RGB-D + rosbag + GT 物体标注。
  • 真机验证:数据来自真实采集(MIT 园区),但机器人 demo 不突出。
  • 局限:依赖 MIT-SPARK 重型工具栈,门槛高;Spot 真机 demo 不在主 paper。
  • 行业贡献分: 55 / 100 (理论 + 工具链组合贡献)
  • PRISM 对比:
    • 理论高度上 PRISM 远逊:Clio 用信息瓶颈,PRISM 用工程经验
    • 工程完整度 PRISM 接近:PRISM 4 条管线 vs Clio 单一在线建图
    • PRISM 应借鉴 Clio 的信息瓶颈思想指导差异检测阈值

2.4 OK-Robot (Meta FAIR, arXiv 2024.01)

  • 核心思想:Systems-first — 不发明新模型,组合 VLM + 导航 + 抓取,直接在真实家庭跑零样本 pick-and-place。
  • 关键证据:10 个真实家庭、170+ 物体、58.5% 成功率——这是同档项目里真机 deploy 规模最大的工作。
  • 硬件:Hello Robot Stretch + Dex Wrist。
  • 关键创新:
    • 首次定量证明"现成 open-knowledge models + 简单组合 = 可用的家庭机器人"
    • 失败模式分析极为细致(每类失败概率)
  • 局限:每次任务前需要扫描房间生成嵌入,没有长期记忆;不做场景图。
  • 行业贡献分: 70 / 100 (真机部署规模 + 复现教程是杀手锏)
  • PRISM 对比:
    • OK-Robot 的"扫描房间"完全可以用 PRISM 的 RoomPlan 替代,两者互补
    • PRISM 多出:长期记忆、巩固、差异检测
    • OK-Robot 多出:真机大规模数据、抓取闭环
    • 如果 PRISM 在 OK-Robot 底座上做长期记忆扩展,可一举进入 70+ 档

2.5 3D-LLM (UMass + MIT + UCLA, NeurIPS 2023 Spotlight)

  • 核心思想:把 3D 点云特征注入 LLM,做 3D captioning / QA / grounding / navigation 等。
  • 关键创新:
    • 设计 3 种 prompting 机制收集 300K 3D-language pairs(目前 3D-LLM 领域最大数据集)
    • 把 BLIP-2 / Flamingo 等 2D VLM "升级"为 3D-VLM
  • 局限:离线 demo 性质;没真机部署;依赖现成 3D 表示(点云/scene mesh)。
  • 行业贡献分: 42 / 100
  • PRISM 对比:
    • 不在同一个赛道(3D-LLM 是研究 paper, PRISM 是工程方案)
    • PRISM 的"11_world_model_bridge"接口设计可参考 3D-LLM 的 prompting 机制

2.6 OpenMask3D (ETH + Microsoft, NeurIPS 2023)

  • 核心思想:3D 实例分割的开放词表化——用 SAM 在 2D 提 mask,投影到 3D,用 CLIP 给每个 instance 取嵌入。
  • 关键创新:
    • 首次解决"open-vocab 3D 实例分割" (vs OpenScene 的 per-point feature)
    • 在 ScanNet200 上把 zero-shot 实例分割 mAP 从近 0 提到 ~16
  • 行业贡献分: 45 / 100
  • PRISM 对比:
    • OpenMask3D 的"2D SAM mask → 3D instance"算法 PRISM 直接可用,应在 03_data_schema 中引用
    • PRISM 的 SpatialNode.bounding_box + clip_emb 字段实际就是 OpenMask3D 的输出

2.7 OpenScene (ETH + Google, CVPR 2023)

  • 核心思想:首个把 2D CLIP 特征蒸馏到 3D 点云的工作。每个 3D 点都有一个 CLIP 嵌入,可零样本语义分割 + 文本查询。
  • 关键创新:
    • 提出 2D-3D 特征蒸馏框架,影响了后续几乎所有 open-vocab 3D 工作(ConceptGraphs / OpenMask3D / HOV-SG 都引用它)
    • 三大数据集 (ScanNet + MP3D + nuScenes) 全部跑通
  • 行业贡献分: 48 / 100 (基础工作 ⇒ 类似 NeRF 之于 SLAM)
  • PRISM 对比:
    • OpenScene 是 PRISM L2 稠密表示的 prior art
    • PRISM 应在论文/文档中显式引用 OpenScene 作为 L2 语义特征来源

2.8 ConceptFusion (Mila + MIT + CMU, RSS 2023)

  • 核心思想:Open-set Multimodal 3D Mapping——把 CLIP / DINO / 语言等多模态特征融合到 3D 地图,可用文本/图像/语音查询。
  • 关键创新:
    • 首次把"open-set"提到 3D 场景表示的核心位置
    • 多模态查询(文本 + 图像 + 音频 + 几何)
  • 行业贡献分: 45 / 100
  • PRISM 对比:
    • 是 PRISM L2 + L4 的精神祖先,应在 02_architecture 引用

3. 同档分布图(贡献分 vs 真机规模)

                   贡献分
                   ↑
                70 |               ★ OK-Robot (10 家庭, 真机 SOTA)
                   |
                60 |
                   |
                55 |         ★ Clio (理论 + 工具链)
                52 |       ★ ConceptGraphs (ICRA, 真机 ★)
                50 |     ★ HOV-SG (RSS)
                48 |    ★ OpenScene (CVPR 基石)
                48 |    ☆ PRISM (假设完成,工程满分,理论空白)
                45 |   ★ OpenMask3D    ★ ConceptFusion
                42 |  ★ 3D-LLM (大数据,无真机)
                   |
                   └──────────────────────────────────→ 真机规模
                     无    Habitat 仿真   开源 demo   10+ 真实家庭

4. 横向能力矩阵 (10 维)

✅ 完整支持, ⚙️ 部分支持, ❌ 不支持

维度 PRISM ConceptGraphs HOV-SG Clio OK-Robot OpenScene ConceptFusion OpenMask3D 3D-LLM
几何稠密表示 (TSDF/Mesh/3DGS) ✅ TSDF+3DGS ✅ Mesh ✅ Mesh ✅ TSDF ⚙️ pointcloud ⚙️ pointcloud ⚙️ pointcloud ⚙️ mesh ❌
语义节点 / 物体 ✅ L3 节点 ✅ ✅ ✅ ⚙️ embed ❌ per-point ⚙️ per-region ✅ instance ❌
分层架构 (floor/room/obj) ✅ L2-L4 ⚙️ obj+rel ✅ 3 层 ✅ region ❌ ❌ ❌ ❌ ❌
开放词表 (open-vocab) ✅ CLIP ✅ CLIP ✅ CLIP ✅ CLIP ✅ CLIP ✅ CLIP ✅ CLIP+多模态 ✅ CLIP ✅
在线增量更新 ✅ Pipeline C ❌ ❌ ✅ ❌ ❌ ❌ ❌ ❌
差异检测 / 物体移动 ✅ Pipeline C ❌ ❌ ❌ ❌ ❌ ❌ ❌ ❌
记忆巩固 / 长时一致性 ✅ Pipeline D ❌ ❌ ❌ ❌ ❌ ❌ ❌ ❌
重定位 (大场景启动) ✅ Pipeline B ⚙️ ICP ⚙️ ⚙️ ⚙️ ❌ ❌ ❌ ❌
真机部署 ❌ 0 验证 ✅ Jackal ✅ Spot ⚙️ MIT ✅ 10 家 ❌ ❌ ❌ ❌
信息论 / 任务驱动理论 ❌ ❌ ❌ ✅ IB ❌ ❌ ❌ ❌ ❌
消费级先验(手机扫描) ✅ RoomPlan ❌ ❌ ❌ ❌ ❌ ❌ ❌ ❌
完整 17 章工程文档 ✅ ❌ ❌ ❌ ⚙️ ❌ ❌ ❌ ❌

解读:

  • PRISM 的独占维度 = "Pipeline B-D 三件套" + "RoomPlan 集成" + "完整工程文档"
  • PRISM 的弱项 = "真机部署 0" + "理论 0"
  • 综合所有维度,PRISM 是这张表中功能模块最齐全的项目

5. 技术血缘图(谁影响了谁)

graph TD
    OpenScene["OpenScene<br/>CVPR 2023<br/>2D→3D CLIP 蒸馏"] --> OpenMask3D
    OpenScene --> ConceptFusion
    OpenScene --> CG[ConceptGraphs]
    OpenScene --> HOVSG[HOV-SG]
    OpenScene --> Clio

    ConceptFusion["ConceptFusion<br/>RSS 2023<br/>多模态 open-set"] --> CG
    ConceptFusion --> HOVSG

    OpenMask3D["OpenMask3D<br/>NeurIPS 2023<br/>open-vocab instance"] --> CG
    OpenMask3D --> HOVSG

    CG["ConceptGraphs<br/>ICRA 2024<br/>双层场景图"] --> HOVSG
    CG --> Clio
    CG --> PRISM

    HOVSG["HOV-SG<br/>RSS 2024<br/>分层 scene graph"] --> PRISM
    Clio["Clio<br/>RA-L 2024<br/>IB 任务驱动"] -.-> PRISM
    OKRobot["OK-Robot<br/>arXiv 2024<br/>10 家真机"] -.-> PRISM

    LLM3D["3D-LLM<br/>NeurIPS 2023<br/>3D + LLM"] -.-> PRISM

    PRISM["PRISM v1.2<br/>(2026)<br/>RoomPlan + 巩固"]

    style PRISM fill:#ffe6cc,stroke:#d79b00,stroke-width:3px
    style OpenScene fill:#e1d5e7,stroke:#9673a6
    style ConceptFusion fill:#e1d5e7,stroke:#9673a6
    style OpenMask3D fill:#e1d5e7,stroke:#9673a6
  • 实线:直接技术继承(算法/数据格式)
  • 虚线:精神继承(借鉴思想,未直接复用代码)
  • 关键观察:PRISM 处在血缘树的最下游——这意味着 PRISM 是"集大成者",但也最难有原创性突破

6. PRISM 与各项目的"何处更强 / 何处更弱"

6.1 PRISM 强于 所有人的方面

  1. iPhone RoomPlan 集成 — 独占。其他 8 项工作中无任何一个用手机端 LiDAR 扫描作为先验。这是 PRISM 最差异化的工程优势。
  2. 巩固机制(睡眠 replay) — 独占。受认知科学启发,模拟海马体→新皮层巩固。Clio 有理论但没具体实现,PRISM 有具体充电桩 SOP。
  3. 差异检测 + 物体移动事件 — 独占。Pipeline C 的 "L2 vs RoomPlan 先验" 对比逻辑,其他工作都没做。
  4. 完整工程文档 — 17 章 / 风险矩阵 / Gantt / MVP / 版本号 / 缩略语表,远超学术开源仓的 README 水平。
  5. 酒店服务机器人场景特化 — 独占垂类。其他都是家庭通用。

6.2 PRISM 弱于 同档项目的方面

短板 谁更强 差距
真机部署数据 OK-Robot (10 家庭) 极大(0 vs 实测数据)
ICRA/RSS 论文 ConceptGraphs / HOV-SG / Clio 极大(无 vs 顶会论文)
理论框架 Clio (信息瓶颈) 大
开源数据集 HOV-SG (HM3DSem), Clio (4 场景) 中(PRISM 设计了 HotelScene-Bench 但未发)
GitHub 影响力 3D-LLM (1196 ★) / ConceptGraphs (868 ★) 中(PRISM 待开源)
实时性能 Clio (real-time) 中(PRISM 设计目标 10 Hz, 未实测)

6.3 与每个项目的"互补合作"机会

合作对象 可交换价值
ConceptGraphs 用 PRISM 的"先验 + 巩固"扩展 ConceptGraphs 为 lifelong;反过来用 ConceptGraphs 的 GPT-4 关系推理填 PRISM L4
OK-Robot PRISM 的 RoomPlan 替代 OK-Robot 的"每次扫描房间";OK-Robot 的 Stretch 抓取闭环填补 PRISM 缺失的操作层
HOV-SG 用 HOV-SG 的 floor 分割算法替换 PRISM 的简化版;反过来 PRISM 的 RoomPlan 给 HOV-SG 一个"工厂预装"楼层先验
Clio 借鉴 Clio 信息瓶颈思想给 PRISM 的差异检测/巩固提供阈值理论;反过来 PRISM 的"睡眠"机制给 Clio 一个 lifelong 扩展
OpenScene 直接复用 OpenScene 的 2D→3D CLIP 蒸馏代码作为 PRISM L2 的语义层
OpenMask3D 用 OpenMask3D 的 instance mask 算法生成 PRISM SpatialNode.bounding_box
ConceptFusion 借鉴 ConceptFusion 的多模态查询接口设计 PRISM 的 LLM Agent 查询 API
3D-LLM 把 PRISM 的 spatial memory 作为 3D-LLM 的输入,演示"机器人长期记忆 + LLM 推理"闭环

7. PRISM 应该 / 不该 复现的算法

决策树:别人已经做到 SOTA 的不重做;别人没做的或做得粗糙的才是 PRISM 的舞台。

算法层 是否自研 建议方案
2D 检测 / 分割 ❌ 不重做 直接用 YOLO-World / SAM-2(已是 SOTA)
2D→3D CLIP 蒸馏 ❌ 不重做 复用 OpenScene 代码或 OpenMask3D 的 instance 版
3D 场景图节点抽取 ⚙️ 部分自研 借 ConceptGraphs 的 mask→node 流程;关系层用 GPT-4o-mini
楼层分割 ⚙️ 部分自研 用 HOV-SG 的平面检测做 baseline,叠加 RoomPlan 先验
重定位(CLIP 召回) ❌ 不重做 用 Hloc / NetVLAD 工具链
重定位(ICP 精配) ❌ 不重做 用 Open3D 内置
差异检测 ✅ 自研 这是 PRISM 的差异化 — 设计 "L2 vs prior" 阈值与冲突仲裁
巩固调度 ✅ 自研 充电桩 SOP + 优先级队列 + 回滚是 PRISM 独有
iPhone ingest 管道 ✅ 自研 RoomPlan → SpatialMemory schema 转换,这是 PRISM 的"桥"
LLM 关系推理 ❌ 不重做 用 GPT-4o / Claude 3.5,做好 prompt 模板
任务驱动语义粒度 ⚙️ 借鉴 学习 Clio 的信息瓶颈思路,简化为启发式

8. 6 个月行动建议(基于对比)

8.1 优先级 1 — 先做真机验证,弥补 0 真机短板

  • 仿 OK-Robot,选 Hello Stretch / Unitree H1 / Pudu Robot 作为载体
  • 选 1 个真实小户型(40 m² 单卧),完整跑通 14_mvp.md 的 5 步
  • 3 个月内出第一组真实数字(cm 误差 + ms 延迟 + 重定位成功率)

8.2 优先级 2 — ICRA / IROS 2027 投稿,弥补 0 论文短板

  • 主线:"先验地图驱动的 lifelong 室内场景图(以酒店为例)"
  • 与 ConceptGraphs / HOV-SG 的差异点写明:手机扫描 + 巩固机制 + 差异检测
  • 用 HotelScene-Bench(10 个酒店房间)做评测,与 ConceptGraphs / HOV-SG 跑横向对比

8.3 优先级 3 — 开源发布 + ROS 2 SIG 推广

  • 选 MIT 协议(与 ConceptGraphs / HOV-SG / OK-Robot 一致)
  • 发起 "ROS 2 Indoor Prior Map SIG",推动 RoomPlan 格式标准化
  • 目标:12 个月内,3+ 公司或机构使用 PRISM 的 LTM schema

8.4 优先级 4 — 引入信息瓶颈理论,弥补理论 0 短板

  • 借 Clio 的 IB 思想,给 PRISM 的"差异置信度"+"巩固优先级"一个形式化目标函数
  • 目标:让评审能在论文里看到至少 1 个定理

9. 引用与原始数据

9.1 arXiv 论文 ID

项目 arXiv ID 会议/期刊
ConceptGraphs 2309.16650 ICRA 2024
HOV-SG 2403.17846 RSS 2024
OpenScene 2211.15654 CVPR 2023
3D-LLM 2307.12981 NeurIPS 2023 Spotlight
OK-Robot 2401.12202 arXiv 2024.01
OpenMask3D 2306.13631 NeurIPS 2023
ConceptFusion 2302.07241 RSS 2023
Clio 2404.13696 RA-L 2024 (10.10)

9.2 GitHub 项目

项目 仓库 Stars 许可证
ConceptGraphs concept-graphs/concept-graphs 868 MIT
HOV-SG hovsg/HOV-SG 470 MIT
OpenScene pengsongyou/openscene 820 Apache-2.0
3D-LLM UMass-Foundation-Model/3D-LLM 1196 MIT
OK-Robot ok-robot/ok-robot 596 MIT
OpenMask3D OpenMask3D/openmask3d 259 MIT
ConceptFusion concept-fusion/concept-fusion 233 MIT
Clio MIT-SPARK/Clio 239 BSD-2-Clause

9.3 原始抓取数据(可复查)

存放于 plans/PRISM/.research/ 目录:

9.4 数据时效

  • 所有 stars / pushed_at 抓取于 2026-05-16 ~19:00 UTC+8
  • arXiv abstract 是论文首版定稿后通常不再变,可信
  • README 是各项目仓库 main/master 分支的当下快照,可能与论文版有差异

10. 一句话总结

"PRISM 站在 OpenScene → ConceptGraphs → HOV-SG → Clio 这条血脉的最下游,集成度最高、文档最美,但理论与真机两个维度都还在起步线之外。要进入这张表的第一梯队,只需做对两件事:(1) 真机跑出来,(2) 写一篇能投 ICRA 的论文。"

对比综述版本:v1.0 对应 PRISM 版本:v1.2.0 最后更新:2026-05-16 配套文件:

Reference in New Issue View Git Blame Copy Permalink