gaojie
492 lines
14 KiB
Markdown
492 lines
14 KiB
Markdown
---
|
||
title: "Chapter 08 — 端到端运行时序"
|
||
date: 2026-05-20
|
||
draft: false
|
||
tags: ["PRISM", "世界模型", "空间记忆", "机器人", "iOS", "ZED2i"]
|
||
categories: ["PRISM"]
|
||
---
|
||
|
||
# Chapter 08 — 端到端运行时序
|
||
|
||
> 本章目标：把 Chapter 04–07 的四个管线**串成一条完整的时间线**，用一个具体酒店场景的"剧本"展示 PRISM 如何在 T0 到 T4 的全生命周期工作。
|
||
|
||
---
|
||
|
||
## 8.1 场景设定
|
||
|
||
> 某商务酒店 3 楼，共 8 间客房 + 走廊 + 电梯厅，约 300 m²。
|
||
> 部署一台轮式服务机器人「Robo-Concierge」，搭载 ZED 2i，需要：
|
||
> - 自主巡逻
|
||
> - 接受客人语音指令"去 308 取一下遥控器"
|
||
> - 早晨给打扫清单上的房间送备品
|
||
> - 检测家具异常移动（防盗 / 维护提醒）
|
||
|
||
---
|
||
|
||
## 8.2 时间线全景
|
||
|
||
```mermaid
|
||
timeline
|
||
title PRISM 端到端运行时序 T0 -- T6
|
||
section 部署前
|
||
T0 D-7 : iPhone 离线扫描 → 灌入 LTM
|
||
section 开机当天
|
||
T1 9点 : 机器人首次开机<br/>重定位握手
|
||
T2 全天 : 巡逻/任务<br/>delta 累积
|
||
T3 14点30 : 取遥控器任务
|
||
T4 22点 : 充电桩<br/>记忆巩固
|
||
section 长期维护
|
||
T5 D+30 : 月度深度巩固
|
||
T6 D+90 : 装修后部分重扫
|
||
```
|
||
|
||
---
|
||
|
||
## 8.3 T0：iPhone 离线扫描（D-7，运维人员）
|
||
|
||
### 物理动作
|
||
|
||
```
|
||
09:00 运维进入 3 楼电梯厅
|
||
09:01 放置 ArUco 标识在地面（id=42, 30 cm×30 cm）
|
||
09:03 打开 PRISMScanner App
|
||
09:05 ── 单 session 开始 ──
|
||
1) 在电梯厅扫一圈，看到 ArUco ✓
|
||
2) 沿走廊缓慢推进
|
||
3) 进 301，扫描 12 分钟
|
||
4) 退出 301，沿走廊
|
||
5) 进 302...... 重复直到 304
|
||
09:55 暂停 session（4 个房间）
|
||
10:00 换电池 + 第二 session（305–308）
|
||
10:50 全部完成
|
||
```
|
||
|
||
### 数据落地（D-6，工作站）
|
||
|
||
```
|
||
data/scans/
|
||
├── 2026-05-09_3F_session1/ # 301-304
|
||
│ ├── Hotel.usdz
|
||
│ ├── roomplan.json
|
||
│ └── arkit/ (rgb + depth + pose)
|
||
└── 2026-05-09_3F_session2/ # 305-308
|
||
└── ...
|
||
```
|
||
|
||
### Ingest（D-5，工程师）
|
||
|
||
```bash
|
||
# Session 1
|
||
python -m tools.prism_ingest_iphone \
|
||
--scan data/scans/2026-05-09_3F_session1/ \
|
||
--out robot_memory/ltm/ \
|
||
--aruco-id 42
|
||
|
||
# Session 2（追加进同一 LTM）
|
||
python -m tools.prism_ingest_iphone \
|
||
--scan data/scans/2026-05-09_3F_session2/ \
|
||
--out robot_memory/ltm/ \
|
||
--aruco-id 42 \
|
||
--merge
|
||
|
||
# 检查
|
||
python -m tools.check_anchors # 期望 ≥ 16 个 anchor（每房 2 个）
|
||
python -m tools.viz_octomap # 人眼检查走廊可通行
|
||
```
|
||
|
||
输出：
|
||
|
||
```yaml
|
||
nodes: 289 (8 房 + 8 走廊 + ~273 家具)
|
||
edges: 312
|
||
anchors: 21
|
||
LTM size: 3.4 GB
|
||
```
|
||
|
||
### 部署
|
||
|
||
```
|
||
D-3: 把 robot_memory/ 拷贝到机器人 SSD
|
||
D-2: 机器人在测试间预演重定位（不到现场）
|
||
D-1: 机器人运到 3 楼电梯厅，关机待命
|
||
```
|
||
|
||
---
|
||
|
||
## 8.4 T1：机器人首次开机（D 早上 9:00）
|
||
|
||
### 时序（精确到毫秒）
|
||
|
||
```mermaid
|
||
sequenceDiagram
|
||
autonumber
|
||
participant U as 用户 电源
|
||
participant R as ROS 2 PRISM
|
||
participant Z as ZED 2i SDK
|
||
participant FP as Frame Producer
|
||
participant RL as Relocalizer
|
||
participant NAV as Avoidance Nav
|
||
participant FSM as 状态机
|
||
|
||
U->>R: 09:00:00.000 Power on
|
||
R-->>R: 09:00:02.500 节点 launch 完成
|
||
R->>Z: 09:00:02.600 启动 ZED 2i SDK
|
||
Z->>FP: 09:00:03.100 第一帧到达
|
||
FP->>RL: 09:00:03.150 触发 cold_start
|
||
RL-->>RL: 09:00:03.230 CLIP 编码当前帧
|
||
RL-->>RL: 09:00:03.310 L3 Top-3 lobby_3F 0.82 room_308 0.41 hallway_3F 0.39
|
||
RL-->>RL: 09:00:03.320 几何配准 FPFH+RANSAC 0.74 ICP refine 0.91 通过
|
||
RL->>R: 09:00:03.510 发布 TF map to zed2i_init
|
||
R->>NAV: 09:00:03.550 Avoidance Nav 上线
|
||
R->>FSM: 09:00:03.600 状态机 to IDLE
|
||
FSM-->>U: 09:00:04.000 开始默认任务 巡逻
|
||
Note over U,FSM: 总冷启动约 3.6 秒 其中 PRISM 握手约 400 ms
|
||
```
|
||
|
||
**总冷启动时间：~ 3.6 秒**（其中 PRISM 的握手 ~ 400 ms）
|
||
|
||
### 内部状态变化
|
||
|
||
| 时刻 | L1 | L2 局部 | L3 当前位置 | L4 缓存 | TF |
|
||
|------|----|---------|-------------|---------|----|
|
||
| 09:00:00 | 空 | 空 | 未知 | 全部从盘加载 | base_link→? |
|
||
| 09:00:03.1 | 1 帧 | 空 | 未知 | 已加载 | 仍未对齐 |
|
||
| 09:00:03.5 | 多帧 | 开始融合 | lobby_3F | — | **map→zed2i_init 发布✓** |
|
||
|
||
---
|
||
|
||
## 8.5 T2：日间巡逻（持续 ~ 8 小时）
|
||
|
||
### 高频循环（30 Hz 主循环）
|
||
|
||
```
|
||
每帧 33.3 ms:
|
||
ZED grab → FrameProducer.append → 局部避障 → 30Hz 控制循环
|
||
```
|
||
|
||
### 中频循环（5 Hz TSDF）
|
||
|
||
```
|
||
每 200 ms:
|
||
取一个关键帧 → TSDFWorker.integrate
|
||
- 检查 prior_mask: 卫生间镜面区被跳过
|
||
- 检查 prior_weight: 走廊墙面 weight=0.1（轻微校准）
|
||
- 走廊地面新发现的"水迹"区域：正常融合，weight=1.0
|
||
```
|
||
|
||
### 低频循环（2 Hz 检测）
|
||
|
||
```
|
||
每 500 ms:
|
||
YOLO-World on 当前 RGB
|
||
→ 检出: bed_room_303, lamp_room_303, person, slipper
|
||
|
||
Person → 隐私过滤，丢弃这帧的语义写入（只保留几何）
|
||
bed_303 → 命中 LTM，更新 last_seen + EMA pose（微调）
|
||
lamp_303 → 命中 LTM，OK
|
||
slipper → 未在 LTM，propose_new → DeltaEvent(object_added,
|
||
payload=...)，写 delta/pending.jsonl
|
||
```
|
||
|
||
### 异常事件（11:34）
|
||
|
||
```
|
||
机器人巡逻到 305：
|
||
- TSDF 在沙发区域显示"空"
|
||
- LTM mesh 显示"有沙发"
|
||
- ChangeDetector 1 Hz 跑：
|
||
diff > 5 cm → 聚类 → DeltaEvent(
|
||
event_type="object_removed",
|
||
target_uid="sofa_305",
|
||
evidence=[kf_305_1134_01, kf_305_1134_07])
|
||
- 写入 delta/pending.jsonl
|
||
|
||
但机器人 *不立刻*认为沙发没了：
|
||
- LTM 中 sofa_305 仍在
|
||
- 后续路径规划仍把它当障碍（保守）
|
||
- 等下次累计观测足够 + 充电时巩固才真删
|
||
```
|
||
|
||
### Anchor 校正（11:42）
|
||
|
||
```
|
||
机器人路过 304 床前：
|
||
- YOLO 检到 'bed' (high conf)
|
||
- 与 LTM bed_304 关联成功
|
||
- 在线触发 fine_register_anchor:
|
||
fitness=0.88 → 更新 T_zed→map
|
||
drift 估计归零
|
||
- 自此重新校准过；与上次校准间隔 38 分钟（< 1 h 健康）
|
||
```
|
||
|
||
### 任务级中断（13:00）
|
||
|
||
```
|
||
语音："去 306 把客人遗忘的伞拿到前台"
|
||
LLM Agent 查 PRISM API:
|
||
find("伞", room="room_306")
|
||
→ L4 检索: umbrella_xxx (source=zed2i, conf=0.5,
|
||
last_seen=今早 10:21, parent=nightstand_306)
|
||
→ L3 路径: cur(hallway) → 306
|
||
→ L2 度量路径
|
||
→ 执行
|
||
```
|
||
|
||
---
|
||
|
||
## 8.6 T3：完整任务剧本——"取遥控器"
|
||
|
||
### 13:00:00 用户输入
|
||
|
||
```
|
||
客人在 308 房间说："请帮我去 308 桌上拿遥控器"
|
||
（机器人当前位于 hallway 走廊中段）
|
||
```
|
||
|
||
### 13:00:01 LLM Agent 查询
|
||
|
||
```python
|
||
# Agent 不直接访问数据库；用 PRISM API
|
||
api = SpatialMemoryAPI("robot_memory/ltm/")
|
||
|
||
# 1) find 物品
|
||
result = api.find("remote control", filters={"parent_room": "room_308"})
|
||
# → [SpatialNode(uid='remote_xx33', label='remote_control',
|
||
# parent_uid='tv_stand_308', confidence=0.6,
|
||
# last_seen=2026-05-16T08:14:22)]
|
||
|
||
# 2) describe（给 LLM 看的自然语言）
|
||
print(api.describe(result[0].uid))
|
||
# "A black remote_control on tv_stand_308 in room_308 (Bedroom),
|
||
# last seen 4h 45min ago, confidence 0.6."
|
||
|
||
# 3) 检查最近 delta（是否被搬过）
|
||
recent = api.changes_since(time.time() - 3*3600)
|
||
# 关于这个遥控器的 delta? → 没有
|
||
# OK，假定还在
|
||
|
||
# 4) 路径规划
|
||
path_rooms = api.path_rooms(src="hallway_3F", dst="room_308")
|
||
# → ["hallway_3F", "room_308"]
|
||
metric_path = api.l2.plan(start=cur_pose, goal=result[0].pose)
|
||
```
|
||
|
||
### 13:00:02 执行
|
||
|
||
```
|
||
13:00:02.300 开始驱动，沿走廊向东
|
||
13:00:14.200 到达 308 门前
|
||
13:00:14.300 ChangeDetector 注意到 308 的门 LTM 标 closed 但实际开着
|
||
→ 写 delta(object_state_change, door_308)
|
||
13:00:14.500 进入 308
|
||
13:00:16.800 到 tv_stand_308 前 0.5 m
|
||
13:00:17.000 ZED 视野中检出 remote_xx33 ✓（YOLO conf=0.78）
|
||
位置与 LTM 偏 12 cm（在桌面被人挪过 12 cm）
|
||
EMA 更新 pose，不写 delta（< 20 cm 阈值）
|
||
13:00:18.000 机械臂伸出抓取
|
||
13:00:20.000 抓握成功，撤回
|
||
13:00:25.000 返回走廊
|
||
13:00:40.000 抵达前台，交接
|
||
```
|
||
|
||
**任务耗时 38 秒；查询 PRISM 总耗时 < 50 ms。**
|
||
|
||
---
|
||
|
||
## 8.7 T4：充电时记忆巩固（D 22:00）
|
||
|
||
### 触发
|
||
|
||
```
|
||
21:55:00 机器人电量 < 25%
|
||
21:55:05 返回充电桩（导航 ~ 8 min）
|
||
22:03:00 上桩，开始充电
|
||
22:13:00 静止 > 10 min，触发 prism consolidate --mode=full
|
||
```
|
||
|
||
### 巩固内容（当天积累）
|
||
|
||
```
|
||
pending.jsonl 当天总计 1234 条事件：
|
||
├── object_added (slippers, towels, ...) 413
|
||
├── object_moved (人挪过的小物) 382
|
||
├── object_removed 91
|
||
├── geometry_changed (走廊积水/物件堆放) 38
|
||
└── 重复信号 310
|
||
```
|
||
|
||
### Step 1: 筛选
|
||
|
||
```
|
||
观察累积 > 5 + 时间跨度 > 5 min + 多视点 > 2:
|
||
→ 162 条通过 confirm
|
||
→ 798 条 reject（< 5 min 的短暂物）
|
||
→ 274 条 keep（继续等待第二天）
|
||
```
|
||
|
||
### Step 2-3: 应用
|
||
|
||
```
|
||
其中：
|
||
- sofa_305 的 object_removed: 累积 47 次观测，跨越 6 小时
|
||
→ 通过 ✓，标记 sofa_305 state=removed，confidence ×= 0.3
|
||
- 12 个新增的 small_item（拖鞋、毛巾、水瓶）→ 加入 L4
|
||
- 41 个家具位置微调
|
||
```
|
||
|
||
### Step 4: 锚点 / 索引刷新
|
||
|
||
```
|
||
21 → 20 个 anchor（sofa_305 被淘汰）
|
||
受影响的 12 个新节点：渲染图像 + CLIP → 入 Faiss 索引
|
||
room_305 的房间 CLIP 重算（因为 sofa 不再）
|
||
```
|
||
|
||
### Step 5: 增量重训
|
||
|
||
```
|
||
受影响房间：room_305
|
||
3DGS warmstart from outputs/room_305/last.ckpt
|
||
3000 iter (~ 4 min on Orin AGX)
|
||
→ ply 替换 ltm/dense/3dgs/room_305.ply
|
||
|
||
TSDF 在 sofa_305 bbox 内 reset → 用今日 keyframes 重融合
|
||
```
|
||
|
||
### Step 6: 验证 + 切换
|
||
|
||
```
|
||
sanity_relocalize on 10 历史关键帧:
|
||
10/10 成功，RMSE 4.2 cm ✓
|
||
validate(new_mem):
|
||
0 errors ✓
|
||
snapshot: robot_memory/snapshots/20260516_2230.tar.zst (3.4 GB)
|
||
原子切换：ltm.staging → ltm；旧 ltm → ltm.prev（next day 删除）
|
||
|
||
22:34:00 consolidate 完成，总用时 31 min
|
||
22:34:01 机器人继续充电
|
||
```
|
||
|
||
### 第二天早晨
|
||
|
||
```
|
||
07:00:00 机器人启动，加载新 LTM
|
||
07:00:03 重定位（在充电桩，看天花板灯）→ Top-1 = hallway_3F ✓
|
||
07:00:04 IDLE 等待任务
|
||
```
|
||
|
||
---
|
||
|
||
## 8.8 T5：月度深度巩固（D+30 凌晨）
|
||
|
||
```
|
||
01:00:00 定时任务触发 prism consolidate --mode=deep
|
||
01:00:30 完整巩固 + 全场景 3DGS 重训（每房间 5000 iter）
|
||
03:45:00 全部完成 (8 房 × ~ 20 min)
|
||
03:46:00 自检：sanity_relocalize 20 张历史帧 → 19/20 通过 ✓
|
||
```
|
||
|
||
---
|
||
|
||
## 8.9 T6：装修后部分重扫（D+90）
|
||
|
||
```
|
||
酒店在 D+85 改造了 307 房间（新家具）
|
||
D+90: 运维带 iPhone 重扫 307 + 走廊端
|
||
ingest 时指定 --only-rooms room_307:
|
||
- 仅替换 LTM 中 room_307 相关的 nodes/edges
|
||
- 其他房间保持不变
|
||
- 重新生成 room_307 的 anchor + CLIP
|
||
- 重训 room_307 的 3DGS
|
||
ltm_version 从 v15 → v16
|
||
```
|
||
|
||
---
|
||
|
||
## 8.10 全生命周期 KPI（连续运行 90 天后回看）
|
||
|
||
```yaml
|
||
重定位:
|
||
冷启动成功率: 98.4% (1230/1250 次)
|
||
平均冷启动时长: 670 ms
|
||
绑架恢复成功率: 93% (用 ArUco 兜底后 100%)
|
||
|
||
记忆维护:
|
||
pending 平均长度: ~ 800 条/日
|
||
每日 confirmed: ~ 150 条
|
||
reject 率: ~ 64%（健康，说明门槛起作用）
|
||
错误巩固撤销次数: 2 次（手工回滚）
|
||
|
||
任务表现:
|
||
"取物"任务成功率: 94% (n=412)
|
||
错误归因:
|
||
- 物品已被移走 (delta 未及时巩固): 4%
|
||
- 抓取失败: 2%
|
||
- 重定位失败: < 1%
|
||
|
||
资源占用 (Jetson Orin AGX):
|
||
CPU 平均: 37%
|
||
GPU 平均: 52%
|
||
内存: 12.3 GB / 64 GB
|
||
磁盘增长: + 0.2 GB / 月（snapshots）
|
||
```
|
||
|
||
---
|
||
|
||
## 8.11 完整状态图
|
||
|
||
```mermaid
|
||
stateDiagram-v2
|
||
[*] --> BOOTING: power
|
||
BOOTING --> IDLE: relocalize ok
|
||
IDLE --> EXECUTING_TASK: task assigned
|
||
EXECUTING_TASK --> IDLE: done
|
||
IDLE --> RELOCALIZING: relocalize lost
|
||
EXECUTING_TASK --> RELOCALIZING: relocalize lost
|
||
RELOCALIZING --> IDLE: recovered
|
||
RELOCALIZING --> FALLBACK_HUMAN: failed > N
|
||
FALLBACK_HUMAN --> IDLE: human help
|
||
IDLE --> CONSOLIDATING: charging + idle > 10min
|
||
CONSOLIDATING --> IDLE: done
|
||
|
||
note right of IDLE
|
||
巡逻或待命
|
||
end note
|
||
note right of CONSOLIDATING
|
||
Background (并行):
|
||
• FrameProducer (30 Hz, always)
|
||
• TSDFWorker (5 Hz when moving)
|
||
• DetectorWorker (2 Hz when moving)
|
||
• ChangeDetector (1 Hz when stationary)
|
||
• HealthMonitor (0.2 Hz)
|
||
end note
|
||
```
|
||
|
||
---
|
||
|
||
## 8.12 本章小结
|
||
|
||
| 阶段 | 时间 | 主体 | PRISM 角色 |
|
||
|------|------|------|-----------|
|
||
| **T0** D-7 | 人工 | iPhone 扫描 | LTM 灌入 |
|
||
| **T1** D 9:00 | 机器人 | 冷启动 | 重定位握手 |
|
||
| **T2** D 全天 | 机器人 | 巡逻 | 在线感知 + delta 累积 |
|
||
| **T3** D 13:00 | 机器人 | 任务 | 查询四层记忆 + 路径 |
|
||
| **T4** D 22:00 | 机器人 | 充电 | 巩固 |
|
||
| **T5** D+30 | 机器人 | 深夜 | 深度巩固 |
|
||
| **T6** D+90 | 人工 | 重扫部分 | 增量 LTM 更新 |
|
||
|
||
读完本章你应能：
|
||
- ✅ 在脑中"播放"完整的 PRISM 一天
|
||
- ✅ 解释为什么 sofa_305 不会被"瞬间删除"
|
||
- ✅ 估算系统的资源占用
|
||
- ✅ 设计 PRISM 的状态机
|
||
|
||
下一章 [`09_roadmap.md`](09_roadmap.md) 给出 8 周内把这一切跑通的具体里程碑。
|
||
|
||
---
|
||
|
||
**章节版本**：v1.0
|
||
**估计阅读时间**：18 分钟
|
||
**关键收获**：把抽象架构变成"看得见的一天"
|