gaojie/worldmodel
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
bec8a9a4a3437349b08e4baee4c42c05673e1234
worldmodel/plans/PRISM/comparison.md
T

380 lines
21 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# PRISM 同档项目对比综述
> **范围**:对 `rate_industry.md` 第 3.1 节列出的 4 个项目 (ConceptGraphs / HOV-SG / OpenScene / 3D-LLM) 做技术深读,并扩展加入 4 个**强相关项目** (OK-Robot / Clio / ConceptFusion / OpenMask3D),共 8 个对比对象。
>
> **方法**:通过 arXiv API 抓 abstract、GitHub API 抓 stars/license/活跃度、原始 README 抓硬件平台与数据集。原始数据存在 [`plans/PRISM/.research/`](.research/) 目录,可复查。
>
> **撰写日期**:2026-05-16
> **PRISM 版本**:v1.2.0(假设全部完成态)
---
## 0. TL;DR(60 秒结论)
| 维度 | 当前 SOTA | PRISM 与之差距 |
|---|---|---|
| **3D 场景图代表作** | ConceptGraphs (ICRA 2024) | 类似的双层 + 巩固机制,PRISM 多出"先验地图 + 在线感知"双源融合 |
| **分层场景图** | HOV-SG (RSS 2024) | HOV-SG 是 floor/room/object 三层;PRISM 多出 L4 语义事件层 |
| **真机大规模评测** | OK-Robot (FAIR 2024) — 10 家 170 物体 | PRISM 目前 0 真机,这是**最大差距** |
| **任务驱动 + 信息瓶颈** | Clio (RA-L 2024) | PRISM 没有信息论框架,Clio 在理论侧领先 |
| **手机扫描 → 机器人 LTM 桥** | (空白) | **PRISM 独占** — 是 PRISM 最差异化的贡献 |
| **酒店/家居垂直运维栈** | (无人专注) | PRISM 独占该垂类工程模板 |
**核心判断**:PRISM 在**学术深度**上落后 ConceptGraphs/Clio 一个身位,但在**消费级先验地图集成**与**全栈工程化**上有独特位置。如能把"iPhone RoomPlan → ROS 2 LTM"做成开源标准 + 真机部署,可与 ConceptGraphs 同档。
---
## 1. 项目速览矩阵
| 项目 | 发表 | 单位 | Stars | 许可证 | 最后更新 | 真机部署 | 数据集 |
|---|---|---|---:|---|---|---|---|
| **PRISM** (v1.2 蓝图) | — | — | — | — (待定) | 2026-05-16 | ❌ 0 真机 | HotelScene-Bench (设计中) |
| **ConceptGraphs** | ICRA 2024 | CMU + MIT + Mila | **868** | MIT | 2025-10-16 | ✅ Jackal | Replica + 自建 |
| **HOV-SG** | RSS 2024 | Freiburg + Stuttgart | **470** | MIT | 2026-01-19 | ✅ Habitat → Real | HM3DSem |
| **Clio** | RA-L 2024 | MIT-SPARK | 239 | BSD-2 | 2025-09-01 | 部分 | 自建 4 场景 |
| **OK-Robot** | arXiv 2024 | FAIR | 596 | MIT | 2024-03-04 | ✅ Stretch × 10 家 | 现场真实家庭 |
| **3D-LLM** | NeurIPS 2023 Spotlight | UMass + MIT + UCLA | **1196** | MIT | 2024-06-06 | ❌ | 自建 300K QA |
| **OpenMask3D** | NeurIPS 2023 | ETH + Microsoft | 259 | MIT | 2023-12-15 | ❌ | ScanNet200, Replica |
| **OpenScene** | CVPR 2023 | ETH + Google | 820 | Apache-2.0 | 2023-10-27 | ❌ | ScanNet, MP3D, nuScenes |
| **ConceptFusion** | RSS 2023 | Mila + MIT + CMU | 233 | MIT | 2023-09-23 | ❌ | Replica + 真实采集 |
> *Stars 与 pushed_at 抓取于 2026-05-16 19:00 (UTC+8)。原始数据见 [`.research/projects.json`](.research/projects.json)。*
---
## 2. 每个项目深度分析
### 2.1 ConceptGraphs (CMU + MIT + Mila, ICRA 2024)
- **核心思想**:从一系列 posed RGB-D 帧出发,用 SAM 提物体掩码 + CLIP 编码,**多视图融合到 3D 物体节点**,再由 GPT-4 推理"物体-物体"关系生成场景图。
- **数据流**:RGB-D → SAM 物体 mask → CLIP 嵌入 → 3D 物体节点 → LLM 推理关系 → JSON 场景图。
- **真机验证**:开源了 Jackal 机器人版本 (子仓库 `concept_graphs_jackal`),包含 nav + manipulation。
- **关键创新**:**首个把场景图节点压缩为"单个 CLIP 嵌入 + 几何 mesh"** 的方案,远比 OpenScene 的"per-point feature"省内存。
- **局限**:
- 仅在静态 RGB-D 序列上工作,**没有 lifelong 概念**
- 关系推理依赖 GPT-4,延迟和成本未优化
- 实际真机评测以演示视频为主,缺定量指标
- **行业贡献分**: **52 / 100**
- **PRISM 对比**:
- PRISM 多出:**RoomPlan 先验、在线感知、巩固机制、版本控制**
- ConceptGraphs 多出:**经过真机部署、有 ICRA 论文、社区生态(868 stars + jackal 子项目)**
### 2.2 HOV-SG (Freiburg, RSS 2024)
- **核心思想**:**Hierarchical Open-Vocabulary Scene Graph**——三层(floor / room / object),每层节点都附带 CLIP 嵌入,支持自然语言查询。
- **关键创新**:
- 首次把"楼层级"语义引入场景图(多数前作只到 room 级)
- 在 HM3DSem 上做出**完整 navigation pipeline + benchmark**
- 8 月 2024 还公开了 `hm3dsem_walks` 数据集
- **真机验证**:论文里有 Habitat 仿真 + 真机 RGB-D 测试 (Boston Dynamics Spot)。
- **局限**:仍是离线建图,**不支持长期更新**;floor 层级仅用平面检测启发式判断。
- **行业贡献分**: **50 / 100**
- **PRISM 对比**:
- **结构上极相似**:PRISM L2/L3/L4 ↔ HOV-SG floor/room/object
- PRISM 多出:**iPhone 先验、巩固、酒店运维场景**
- HOV-SG 多出:**RSS 论文、HM3DSem benchmark、楼层分割算法**
### 2.3 Clio (MIT-SPARK, RA-L 2024)
- **核心思想**:用**信息瓶颈原理**判断"什么物体/区域应该被纳入场景图":**任务驱动**,给定一组自然语言任务(如 "Read brown textbook"),决定语义粒度。
- **关键创新**:
- **首次为开放词表场景图提供理论框架**(Information Bottleneck)
- 实时 (real-time) 运行,与 MIT-SPARK 的 Hydra / Kimera / Khronos 工具链深度集成
- 后续 *Bayesian Fields* 2025 在同数据集做了延伸
- **数据集**:自建 4 个场景 (Office / Apartment / Cubicle / Building),含 RGB-D + rosbag + GT 物体标注。
- **真机验证**:数据来自真实采集(MIT 园区),但**机器人 demo 不突出**。
- **局限**:依赖 MIT-SPARK 重型工具栈,门槛高;Spot 真机 demo 不在主 paper。
- **行业贡献分**: **55 / 100** (理论 + 工具链组合贡献)
- **PRISM 对比**:
- **理论高度上 PRISM 远逊**:Clio 用信息瓶颈,PRISM 用工程经验
- **工程完整度 PRISM 接近**:PRISM 4 条管线 vs Clio 单一在线建图
- PRISM 应**借鉴 Clio 的信息瓶颈思想**指导差异检测阈值
### 2.4 OK-Robot (Meta FAIR, arXiv 2024.01)
- **核心思想**:**Systems-first** — 不发明新模型,组合 VLM + 导航 + 抓取,直接在真实家庭跑零样本 pick-and-place。
- **关键证据**:**10 个真实家庭、170+ 物体、58.5% 成功率**——这是同档项目里**真机 deploy 规模最大**的工作。
- **硬件**:Hello Robot Stretch + Dex Wrist。
- **关键创新**:
- 首次定量证明"现成 open-knowledge models + 简单组合 = 可用的家庭机器人"
- 失败模式分析极为细致(每类失败概率)
- **局限**:每次任务前需要扫描房间生成嵌入,**没有长期记忆**;不做场景图。
- **行业贡献分**: **70 / 100** (真机部署规模 + 复现教程是杀手锏)
- **PRISM 对比**:
- OK-Robot 的"扫描房间"完全可以用 PRISM 的 RoomPlan 替代,**两者互补**
- PRISM 多出:**长期记忆、巩固、差异检测**
- OK-Robot 多出:**真机大规模数据、抓取闭环**
- **如果 PRISM 在 OK-Robot 底座上做长期记忆扩展,可一举进入 70+ 档**
### 2.5 3D-LLM (UMass + MIT + UCLA, NeurIPS 2023 Spotlight)
- **核心思想**:把 3D 点云特征注入 LLM,做 3D captioning / QA / grounding / navigation 等。
- **关键创新**:
- 设计 3 种 prompting 机制收集 **300K 3D-language pairs**(目前 3D-LLM 领域最大数据集)
- 把 BLIP-2 / Flamingo 等 2D VLM "升级"为 3D-VLM
- **局限**:**离线 demo 性质**;没真机部署;依赖现成 3D 表示(点云/scene mesh)。
- **行业贡献分**: **42 / 100**
- **PRISM 对比**:
- 不在同一个赛道(3D-LLM 是研究 paper, PRISM 是工程方案)
- PRISM 的"11_world_model_bridge"接口设计可参考 3D-LLM 的 prompting 机制
### 2.6 OpenMask3D (ETH + Microsoft, NeurIPS 2023)
- **核心思想**:3D **实例**分割的开放词表化——用 SAM 在 2D 提 mask,投影到 3D,用 CLIP 给每个 instance 取嵌入。
- **关键创新**:
- **首次解决"open-vocab 3D 实例分割"** (vs OpenScene 的 per-point feature)
- 在 ScanNet200 上把 zero-shot 实例分割 mAP 从近 0 提到 ~16
- **行业贡献分**: **45 / 100**
- **PRISM 对比**:
- OpenMask3D 的"2D SAM mask → 3D instance"算法 PRISM 直接可用,**应在 03_data_schema 中引用**
- PRISM 的 `SpatialNode.bounding_box + clip_emb` 字段实际就是 OpenMask3D 的输出
### 2.7 OpenScene (ETH + Google, CVPR 2023)
- **核心思想**:**首个把 2D CLIP 特征蒸馏到 3D 点云**的工作。每个 3D 点都有一个 CLIP 嵌入,可零样本语义分割 + 文本查询。
- **关键创新**:
- 提出 **2D-3D 特征蒸馏框架**,影响了后续几乎所有 open-vocab 3D 工作(ConceptGraphs / OpenMask3D / HOV-SG 都引用它)
- 三大数据集 (ScanNet + MP3D + nuScenes) 全部跑通
- **行业贡献分**: **48 / 100** (基础工作 ⇒ 类似 NeRF 之于 SLAM)
- **PRISM 对比**:
- OpenScene 是 **PRISM L2 稠密表示**的 prior art
- PRISM 应在论文/文档中**显式引用 OpenScene** 作为 L2 语义特征来源
### 2.8 ConceptFusion (Mila + MIT + CMU, RSS 2023)
- **核心思想**:**Open-set Multimodal 3D Mapping**——把 CLIP / DINO / 语言等多模态特征融合到 3D 地图,可用文本/图像/语音查询。
- **关键创新**:
- 首次把"open-set"提到 3D 场景表示的核心位置
- 多模态查询(文本 + 图像 + 音频 + 几何)
- **行业贡献分**: **45 / 100**
- **PRISM 对比**:
- 是 PRISM L2 + L4 的精神祖先,**应在 02_architecture 引用**
---
## 3. 同档分布图(贡献分 vs 真机规模)
```
贡献分
↑
70 | ★ OK-Robot (10 家庭, 真机 SOTA)
|
60 |
|
55 | ★ Clio (理论 + 工具链)
52 | ★ ConceptGraphs (ICRA, 真机 ★)
50 | ★ HOV-SG (RSS)
48 | ★ OpenScene (CVPR 基石)
48 | ☆ PRISM (假设完成,工程满分,理论空白)
45 | ★ OpenMask3D ★ ConceptFusion
42 | ★ 3D-LLM (大数据,无真机)
|
└──────────────────────────────────→ 真机规模
无 Habitat 仿真 开源 demo 10+ 真实家庭
```
---
## 4. 横向能力矩阵 (10 维)
> ✅ 完整支持, ⚙️ 部分支持, ❌ 不支持
| 维度 | PRISM | ConceptGraphs | HOV-SG | Clio | OK-Robot | OpenScene | ConceptFusion | OpenMask3D | 3D-LLM |
|---|:---:|:---:|:---:|:---:|:---:|:---:|:---:|:---:|:---:|
| 几何稠密表示 (TSDF/Mesh/3DGS) | ✅ TSDF+3DGS | ✅ Mesh | ✅ Mesh | ✅ TSDF | ⚙️ pointcloud | ⚙️ pointcloud | ⚙️ pointcloud | ⚙️ mesh | ❌ |
| 语义节点 / 物体 | ✅ L3 节点 | ✅ | ✅ | ✅ | ⚙️ embed | ❌ per-point | ⚙️ per-region | ✅ instance | ❌ |
| 分层架构 (floor/room/obj) | ✅ L2-L4 | ⚙️ obj+rel | ✅ 3 层 | ✅ region | ❌ | ❌ | ❌ | ❌ | ❌ |
| 开放词表 (open-vocab) | ✅ CLIP | ✅ CLIP | ✅ CLIP | ✅ CLIP | ✅ CLIP | ✅ CLIP | ✅ CLIP+多模态 | ✅ CLIP | ✅ |
| 在线增量更新 | ✅ Pipeline C | ❌ | ❌ | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ |
| 差异检测 / 物体移动 | ✅ Pipeline C | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| 记忆巩固 / 长时一致性 | ✅ Pipeline D | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| 重定位 (大场景启动) | ✅ Pipeline B | ⚙️ ICP | ⚙️ | ⚙️ | ⚙️ | ❌ | ❌ | ❌ | ❌ |
| 真机部署 | ❌ 0 验证 | ✅ Jackal | ✅ Spot | ⚙️ MIT | ✅ 10 家 | ❌ | ❌ | ❌ | ❌ |
| 信息论 / 任务驱动理论 | ❌ | ❌ | ❌ | ✅ IB | ❌ | ❌ | ❌ | ❌ | ❌ |
| 消费级先验(手机扫描) | ✅ RoomPlan | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| 完整 17 章工程文档 | ✅ | ❌ | ❌ | ❌ | ⚙️ | ❌ | ❌ | ❌ | ❌ |
> 解读:
> - **PRISM 的独占维度** = "Pipeline B-D 三件套" + "RoomPlan 集成" + "完整工程文档"
> - **PRISM 的弱项** = "真机部署 0" + "理论 0"
> - 综合所有维度,PRISM 是这张表中**功能模块最齐全**的项目
---
## 5. 技术血缘图(谁影响了谁)
```mermaid
graph TD
OpenScene["OpenScene<br/>CVPR 2023<br/>2D→3D CLIP 蒸馏"] --> OpenMask3D
OpenScene --> ConceptFusion
OpenScene --> CG[ConceptGraphs]
OpenScene --> HOVSG[HOV-SG]
OpenScene --> Clio
ConceptFusion["ConceptFusion<br/>RSS 2023<br/>多模态 open-set"] --> CG
ConceptFusion --> HOVSG
OpenMask3D["OpenMask3D<br/>NeurIPS 2023<br/>open-vocab instance"] --> CG
OpenMask3D --> HOVSG
CG["ConceptGraphs<br/>ICRA 2024<br/>双层场景图"] --> HOVSG
CG --> Clio
CG --> PRISM
HOVSG["HOV-SG<br/>RSS 2024<br/>分层 scene graph"] --> PRISM
Clio["Clio<br/>RA-L 2024<br/>IB 任务驱动"] -.-> PRISM
OKRobot["OK-Robot<br/>arXiv 2024<br/>10 家真机"] -.-> PRISM
LLM3D["3D-LLM<br/>NeurIPS 2023<br/>3D + LLM"] -.-> PRISM
PRISM["PRISM v1.2<br/>(2026)<br/>RoomPlan + 巩固"]
style PRISM fill:#ffe6cc,stroke:#d79b00,stroke-width:3px
style OpenScene fill:#e1d5e7,stroke:#9673a6
style ConceptFusion fill:#e1d5e7,stroke:#9673a6
style OpenMask3D fill:#e1d5e7,stroke:#9673a6
```
- **实线**:直接技术继承(算法/数据格式)
- **虚线**:精神继承(借鉴思想,未直接复用代码)
- **关键观察**:PRISM 处在血缘树的**最下游**——这意味着 PRISM 是"集大成者",但**也最难有原创性突破**
---
## 6. PRISM 与各项目的"何处更强 / 何处更弱"
### 6.1 PRISM **强于** 所有人的方面
1. **iPhone RoomPlan 集成** — **独占**。其他 8 项工作中**无任何一个**用手机端 LiDAR 扫描作为先验。这是 PRISM 最差异化的工程优势。
2. **巩固机制(睡眠 replay)** — **独占**。受认知科学启发,模拟海马体→新皮层巩固。Clio 有理论但没具体实现,PRISM 有具体充电桩 SOP。
3. **差异检测 + 物体移动事件** — **独占**。Pipeline C 的 "L2 vs RoomPlan 先验" 对比逻辑,其他工作都没做。
4. **完整工程文档** — 17 章 / 风险矩阵 / Gantt / MVP / 版本号 / 缩略语表,**远超学术开源仓的 README 水平**。
5. **酒店服务机器人场景特化** — 独占垂类。其他都是家庭通用。
### 6.2 PRISM **弱于** 同档项目的方面
| 短板 | 谁更强 | 差距 |
|---|---|---|
| 真机部署数据 | OK-Robot (10 家庭) | **极大**(0 vs 实测数据) |
| ICRA/RSS 论文 | ConceptGraphs / HOV-SG / Clio | **极大**(无 vs 顶会论文) |
| 理论框架 | Clio (信息瓶颈) | 大 |
| 开源数据集 | HOV-SG (HM3DSem), Clio (4 场景) | 中(PRISM 设计了 HotelScene-Bench 但未发) |
| GitHub 影响力 | 3D-LLM (1196 ★) / ConceptGraphs (868 ★) | 中(PRISM 待开源) |
| 实时性能 | Clio (real-time) | 中(PRISM 设计目标 10 Hz, 未实测) |
### 6.3 与每个项目的"互补合作"机会
| 合作对象 | 可交换价值 |
|---|---|
| **ConceptGraphs** | 用 PRISM 的"先验 + 巩固"扩展 ConceptGraphs 为 lifelong;反过来用 ConceptGraphs 的 GPT-4 关系推理填 PRISM L4 |
| **OK-Robot** | PRISM 的 RoomPlan 替代 OK-Robot 的"每次扫描房间";OK-Robot 的 Stretch 抓取闭环填补 PRISM 缺失的操作层 |
| **HOV-SG** | 用 HOV-SG 的 floor 分割算法替换 PRISM 的简化版;反过来 PRISM 的 RoomPlan 给 HOV-SG 一个"工厂预装"楼层先验 |
| **Clio** | 借鉴 Clio 信息瓶颈思想给 PRISM 的差异检测/巩固提供阈值理论;反过来 PRISM 的"睡眠"机制给 Clio 一个 lifelong 扩展 |
| **OpenScene** | 直接复用 OpenScene 的 2D→3D CLIP 蒸馏代码作为 PRISM L2 的语义层 |
| **OpenMask3D** | 用 OpenMask3D 的 instance mask 算法生成 PRISM `SpatialNode.bounding_box` |
| **ConceptFusion** | 借鉴 ConceptFusion 的多模态查询接口设计 PRISM 的 LLM Agent 查询 API |
| **3D-LLM** | 把 PRISM 的 spatial memory 作为 3D-LLM 的输入,演示"机器人长期记忆 + LLM 推理"闭环 |
---
## 7. PRISM 应该 / 不该 复现的算法
> **决策树**:别人已经做到 SOTA 的不重做;别人没做的或做得粗糙的才是 PRISM 的舞台。
| 算法层 | 是否自研 | 建议方案 |
|---|---|---|
| 2D 检测 / 分割 | ❌ 不重做 | 直接用 YOLO-World / SAM-2(已是 SOTA) |
| 2D→3D CLIP 蒸馏 | ❌ 不重做 | 复用 OpenScene 代码或 OpenMask3D 的 instance 版 |
| 3D 场景图节点抽取 | ⚙️ 部分自研 | 借 ConceptGraphs 的 mask→node 流程;关系层用 GPT-4o-mini |
| 楼层分割 | ⚙️ 部分自研 | 用 HOV-SG 的平面检测做 baseline,叠加 RoomPlan 先验 |
| 重定位(CLIP 召回) | ❌ 不重做 | 用 Hloc / NetVLAD 工具链 |
| 重定位(ICP 精配) | ❌ 不重做 | 用 Open3D 内置 |
| **差异检测** | ✅ **自研** | 这是 PRISM 的差异化 — 设计 "L2 vs prior" 阈值与冲突仲裁 |
| **巩固调度** | ✅ **自研** | 充电桩 SOP + 优先级队列 + 回滚是 PRISM 独有 |
| **iPhone ingest 管道** | ✅ **自研** | RoomPlan → SpatialMemory schema 转换,这是 PRISM 的"桥" |
| LLM 关系推理 | ❌ 不重做 | 用 GPT-4o / Claude 3.5,做好 prompt 模板 |
| 任务驱动语义粒度 | ⚙️ 借鉴 | 学习 Clio 的信息瓶颈思路,简化为启发式 |
---
## 8. 6 个月行动建议(基于对比)
### 8.1 优先级 1 — 先做真机验证,弥补 0 真机短板
- 仿 OK-Robot,选 Hello Stretch / Unitree H1 / Pudu Robot 作为载体
- 选 1 个真实小户型(40 m² 单卧),完整跑通 [`14_mvp.md`](14_mvp.md) 的 5 步
- **3 个月内出第一组真实数字**(cm 误差 + ms 延迟 + 重定位成功率)
### 8.2 优先级 2 — ICRA / IROS 2027 投稿,弥补 0 论文短板
- 主线:"先验地图驱动的 lifelong 室内场景图(以酒店为例)"
- 与 ConceptGraphs / HOV-SG 的差异点写明:**手机扫描 + 巩固机制 + 差异检测**
- 用 HotelScene-Bench(10 个酒店房间)做评测,与 ConceptGraphs / HOV-SG 跑横向对比
### 8.3 优先级 3 — 开源发布 + ROS 2 SIG 推广
- 选 MIT 协议(与 ConceptGraphs / HOV-SG / OK-Robot 一致)
- 发起 "ROS 2 Indoor Prior Map SIG",推动 RoomPlan 格式标准化
- 目标:**12 个月内,3+ 公司或机构使用 PRISM 的 LTM schema**
### 8.4 优先级 4 — 引入信息瓶颈理论,弥补理论 0 短板
- 借 Clio 的 IB 思想,给 PRISM 的"差异置信度"+"巩固优先级"一个**形式化目标函数**
- 目标:**让评审能在论文里看到至少 1 个定理**
---
## 9. 引用与原始数据
### 9.1 arXiv 论文 ID
| 项目 | arXiv ID | 会议/期刊 |
|---|---|---|
| ConceptGraphs | [2309.16650](https://arxiv.org/abs/2309.16650) | ICRA 2024 |
| HOV-SG | [2403.17846](https://arxiv.org/abs/2403.17846) | RSS 2024 |
| OpenScene | [2211.15654](https://arxiv.org/abs/2211.15654) | CVPR 2023 |
| 3D-LLM | [2307.12981](https://arxiv.org/abs/2307.12981) | NeurIPS 2023 Spotlight |
| OK-Robot | [2401.12202](https://arxiv.org/abs/2401.12202) | arXiv 2024.01 |
| OpenMask3D | [2306.13631](https://arxiv.org/abs/2306.13631) | NeurIPS 2023 |
| ConceptFusion | [2302.07241](https://arxiv.org/abs/2302.07241) | RSS 2023 |
| Clio | [2404.13696](https://arxiv.org/abs/2404.13696) | RA-L 2024 (10.10) |
### 9.2 GitHub 项目
| 项目 | 仓库 | Stars | 许可证 |
|---|---|---:|---|
| ConceptGraphs | [concept-graphs/concept-graphs](https://github.com/concept-graphs/concept-graphs) | 868 | MIT |
| HOV-SG | [hovsg/HOV-SG](https://github.com/hovsg/HOV-SG) | 470 | MIT |
| OpenScene | [pengsongyou/openscene](https://github.com/pengsongyou/openscene) | 820 | Apache-2.0 |
| 3D-LLM | [UMass-Foundation-Model/3D-LLM](https://github.com/UMass-Foundation-Model/3D-LLM) | 1196 | MIT |
| OK-Robot | [ok-robot/ok-robot](https://github.com/ok-robot/ok-robot) | 596 | MIT |
| OpenMask3D | [OpenMask3D/openmask3d](https://github.com/OpenMask3D/openmask3d) | 259 | MIT |
| ConceptFusion | [concept-fusion/concept-fusion](https://github.com/concept-fusion/concept-fusion) | 233 | MIT |
| Clio | [MIT-SPARK/Clio](https://github.com/MIT-SPARK/Clio) | 239 | BSD-2-Clause |
### 9.3 原始抓取数据(可复查)
存放于 [`plans/PRISM/.research/`](.research/) 目录:
- [`projects.json`](.research/projects.json) — GitHub API 抓取的元数据(stars / license / pushed_at / topics)
- [`arxiv_data.json`](.research/arxiv_data.json) — arXiv API 抓取的 title / abstract / 作者 / 主类
- [`readmes/*.md`](.research/readmes/) — 每个项目的 README 头部 ≤ 16 KB 快照
- [`fetch_projects.py`](.research/fetch_projects.py) / [`fetch_arxiv.py`](.research/fetch_arxiv.py) / [`fetch_readmes.py`](.research/fetch_readmes.py) — 抓取脚本,可重跑获取最新数据
### 9.4 数据时效
- 所有 **stars / pushed_at** 抓取于 **2026-05-16 ~19:00 UTC+8**
- **arXiv abstract** 是论文首版定稿后通常不再变,可信
- **README** 是各项目仓库 main/master 分支的当下快照,可能与论文版有差异
---
## 10. 一句话总结
> **"PRISM 站在 OpenScene → ConceptGraphs → HOV-SG → Clio 这条血脉的最下游,集成度最高、文档最美,但理论与真机两个维度都还在起步线之外。要进入这张表的第一梯队,只需做对两件事:(1) 真机跑出来,(2) 写一篇能投 ICRA 的论文。"**
---
**对比综述版本**:v1.0
**对应 PRISM 版本**:v1.2.0
**最后更新**:2026-05-16
**配套文件**:
- [`rate.md`](rate.md) — 技术难度评分(62/100)
- [`rate_industry.md`](rate_industry.md) — 行业贡献评分(48/100)
- [`.research/`](.research/) — 原始抓取数据 + 复现脚本
Reference in New Issue View Git Blame Copy Permalink