refactor: reorganize research/ into topic subfolders (world-models, spatial-memory, crowdroom, plans)

research/spatial-memory/human_spatial_memory.md

@@ -0,0 +1,402 @@
+---
+title: "人类空间记忆：大脑如何构建、存储与更新空间信息"
+date: 2026-05-20
+draft: false
+tags: ["调研", "论文综述", "导航"]
+categories: ["research"]
+---
+
+# 人类空间记忆：大脑如何构建、存储与更新空间信息
+
+> 研究目标：系统梳理人类大脑构建空间认知地图的神经机制，提取可工程化的设计原则，指导 PRISM 从 v1.5 升级至 v2.0。
+>
+> 版本：v1.0 | 日期：2026-05-17
+
+---
+
+## 0. 一句话
+
+> **大脑用「稀疏编码的位置信号 + 周期性网格度量 + 分层巩固」三件套，在几瓦功耗下实现了终身空间记忆。PRISM 2.0 要做的就是把这三件套翻译成工程架构。**
+
+---
+
+## 1. 核心神经系统：海马-内嗅皮层回路
+
+人类空间记忆的核心硬件是**海马体 (Hippocampus)** 和**内嗅皮层 (Entorhinal Cortex)** 组成的回路。这个回路在哺乳动物中高度保守——老鼠、猴子、人类的导航系统原理相同。
+
+```
+                     ┌──────────────────────┐
+                     │   内嗅皮层 (MEC)      │
+                     │  ┌──────┬──────┬───┐ │
+                     │  │Grid  │Head  │   │ │
+                     │  │Cells │Dir.  │…  │ │
+                     │  └──────┴──────┴───┘ │
+                     └──────────┬───────────┘
+                                │ 输入
+                     ┌──────────▼───────────┐
+                     │   海马体              │
+                     │  DG → CA3 → CA1      │
+                     │  ┌──────┬──────┬───┐ │
+                     │  │Place │Time  │…  │ │
+                     │  │Cells │Cells │   │ │
+                     │  └──────┴──────┴───┘ │
+                     └──────────┬───────────┘
+                                │ 输出
+                     ┌──────────▼───────────┐
+                     │   新皮层 (PFC等)      │
+                     │   长期存储            │
+                     └──────────────────────┘
+```
+
+---
+
+## 2. 五种基础空间细胞类型
+
+### 2.1 位置细胞 (Place Cells) — 你在哪里
+
+| 属性 | 说明 |
+|------|------|
+| **位置** | 海马体 CA1 / CA3 |
+| **行为** | 当动物进入特定位置时放电，每个细胞只对应一个或几个位置域 (place field) |
+| **编码** | **稀疏编码**——海马体中只有 ~2-5% 的神经元对当前位置活跃 |
+| **关键特性** | 位置域在进入新环境**几分钟内**形成，且一旦形成就相对稳定 |
+| **重映射 (Remapping)** | 环境改变后，同一群神经元会重新分配到新位置——这是"新地图"的神经信号 |
+
+> **工程启发**：PRISM 应该为每个"位置"维护稀疏的视觉指纹（已有 clip_embedding），但需要支持**快速形成新位置表征 + 环境变化时触发重映射**。
+
+### 2.2 网格细胞 (Grid Cells) — 走了多远、什么方向
+
+| 属性 | 说明 |
+|------|------|
+| **位置** | 内侧内嗅皮层 (medial Entorhinal Cortex, MEC) |
+| **行为** | 多个空间周期性地放电，形成**正六边形网格** |
+| **编码** | 每个细胞有特定的间距 (spacing)、方向 (orientation) 和相位 (phase) |
+| **层级性** | 不同网格细胞的间距从 ~30 cm 到数米不等，**间距越大越靠 MEC 背侧** |
+| **通用性** | 网格表征**跨环境通用**——同一个网格细胞在不同房间里保持相同的间距和方向 |
+
+> **工程启发**：这是 PRISM 当前**最缺的一层**。L2 的 OctoMap / TSDF 是纯笛卡尔坐标，没有网格细胞那种"泛化度量"。应该增加一个 **GridMetric 层**——由多个不同间距的周期编码叠加，实现跨房间的度量泛化。
+
+### 2.3 头方向细胞 (Head Direction Cells) — 面向哪边
+
+| 属性 | 说明 |
+|------|------|
+| **位置** | 多个脑区（前背侧丘脑、后下托、MEC 等） |
+| **行为** | 只对特定头部方向放电，与位置和速度无关 |
+| **编码** | 360° 环形吸引子网络，每个细胞调谐到特定角度 |
+
+> **工程启发**：ZED VIO 已提供朝向，但缺少与空间记忆的直接耦合。PRISM 2.0 应该让朝向信号与位置表征**联合编码**（而非仅作为 Pose 的一个分量）。
+
+### 2.4 边界细胞 (Boundary Cells) — 离墙多远
+
+| 属性 | 说明 |
+|------|------|
+| **位置** | 下托 (Subiculum)、MEC |
+| **行为** | 在距环境边界特定距离处放电；部分编码**距最近墙的距离**，部分编码**特定方位的墙** |
+| **功能** | 定义环境的几何框架——没有它，位置细胞就无法稳定地重新映射 |
+
+> **工程启发**：iPhone RoomPlan 输出的墙/隔断 = 天然边界。PRISM 2.0 应在 L2 初始化时显式计算每个位置的**边界距离特征**，作为位置细胞形成的基础脚手架。
+
+### 2.5 速度细胞 (Speed Cells) — 移动快慢
+
+| 属性 | 说明 |
+|------|------|
+| **位置** | MEC |
+| **行为** | 放电率线性正比于运行速度 |
+| **功能** | 驱动网格细胞的相位更新——没有速度信号，网格就会"静止" |
+
+> **工程启发**：ZED VIO 的速度估计可直接作为网格更新的驱动力。与路径积分 (path integration) 直接对应。
+
+---
+
+## 3. 海马体的两个核心操作：模式分离与模式完成
+
+### 3.1 模式分离 (Pattern Separation) — "这两个房间不一样"
+
+```
+输入 ──→ 齿状回 (DG) ──→ CA3
+         │
+         大数量神经元 + 极稀疏活动
+         → 相似的输入被"正交化"为不重叠的表征
+```
+
+| 场景 | 例子 |
+|------|------|
+| 两个布局相似的酒店房间 | 人不会搞混——DG 把相似的感知输入映射为不同的海马表征 |
+| 同一个房间，家具挪了 | CA3 仍然能认出（模式完成），但 DG 会标记"有变化" |
+
+> **工程启发**：PRISM 需要 **DG 层**——当 ZED 进入一个与已有 L3 节点视觉相似但实际不同的房间时，DG 层应该强制新建节点而非错误地"认出"旧节点。当前只有 `clip_embedding` 做相似度匹配，缺少正交化步骤。
+
+### 3.2 模式完成 (Pattern Completion) — "我只看到床角，但知道这是卧室"
+
+```
+部分线索 ──→ CA3 (自联想网络) ──→ 完整记忆
+              │
+              CA3 有丰富的递归连接
+              → 部分输入即可激活整个记忆模式
+```
+
+| 场景 | 例子 |
+|------|------|
+| 重定位 | 只看到房间一角，就能识别是哪个房间（PRISM Pipeline B 的核心需求） |
+| 弱光/遮挡 | 部分视野被遮挡，仍然能导航 |
+
+> **工程启发**：PRISM 的重定位模块已经在做类似的事（CLIP embedding 匹配），但缺少 CA3 风格的**递归完成**——即用部分匹配激活的节点反过来"期望"看到哪些物品，再去 L4 验证，形成一个**双向确认**循环。
+
+---
+
+## 4. 记忆的三种时态：工作 → 短期 → 长期
+
+人类的空间记忆不是"存进去就完事"，而是沿着**时间轴**经历了三种状态：
+
+```
+感知输入
+  │
+  ▼
+┌────────────────┐
+│ 工作记忆 (WM)  │  ← 前额叶皮层 + 海马体
+│ 秒 ~ 分钟      │     容量有限 (4±1 chunks)
+│ 当前任务上下文  │     表征当前导航目标、最近经过的路标
+└────────┬───────┘
+         │ 注意筛选 (只有"重要的"往下走)
+         ▼
+┌────────────────┐
+│ 短期记忆 (STM) │  ← 海马体依赖
+│ 小时 ~ 天      │     突触可塑性 (LTP/LTD)
+│ 今天的经历      │     快速编码，但不稳定
+└────────┬───────┘
+         │ 睡眠巩固 (海马→皮层转移)
+         │ 去重 + 与旧知识整合
+         ▼
+┌────────────────┐
+│ 长期记忆 (LTM) │  ← 新皮层（前额叶、颞叶等）
+│ 周 ~ 年 ~ 终身 │     结构可塑性（树突棘稳定化）
+│ 稳定的知识      │     半永久存储
+└────────────────┘
+```
+
+### 三层的关键区别（PRISM 映射）
+
+| 维度 | WM | STM | LTM | PRISM 当前对应 |
+|------|----|-----|-----|---------------|
+| **时间** | 秒~分钟 | 小时~天 | 周~终身 | L1/WM ✓ / L2-L4(部分) / 缺STM显式层 |
+| **容量** | 极小 | 有限 | 几乎无限 | — |
+| **可塑性** | 随时覆盖 | 可修改 | 难修改 | — |
+| **依赖** | 注意力 | 海马体 | 皮层 | — |
+| **遗忘** | 瞬时 | 干扰/衰减 | 极少 | — |
+
+> **工程启发**：PRISM 目前只有 L1 (WM-like) 和"其他全算持久化"。缺失了中间的 **STM 层**——即"今天见到但还没巩固"的状态。这导致差异检测 (`delta/`) 直接写死而非可恢复的临时标记。
+
+---
+
+## 5. 系统巩固：睡眠中把记忆从海马搬到皮层
+
+### 5.1 标准巩固模型 (Standard Consolidation Model)
+
+```
+睡眠 / 安静清醒时：
+
+海马体 ──Sharp-Wave Ripples (SWR)──→ 新皮层
+ │                                      │
+ 以 10-20× 加速重播                          缓慢调整突触权重
+ 白天的轨迹                                   把"昨天发生的事"
+                                              变成"已知的事实"
+```
+
+关键发现：
+- **海马重播 (Replay)**：清醒时经历的轨迹在 NREM 睡眠期间被压缩到 ~100 ms 的 SWR 事件中快速重放
+- **皮层巩固**：每次重播驱动皮层突触的微小变化，经多次睡眠周期后形成稳定表征
+- **去重与抽象**：大脑不是逐字记录——重播过程会**抽取共性、丢弃细节、与已有知识整合**
+
+### 5.2 补充学习系统理论 (Complementary Learning Systems, CLS)
+
+| | 海马体系统 | 皮层系统 |
+|---|-----------|---------|
+| **学习速度** | 快速（一次经历即可） | 慢速（需要多次重复） |
+| **表征** | 稀疏、分离（防止干扰） | 重叠、压缩（提取统计规律） |
+| **作用** | 记忆特定事件 | 学习通用知识 |
+| **类比** | 内存（快但容小） | 硬盘（慢但容大） |
+
+> **工程启发**：Pipeline D（充电巩固）已经捕获了"睡眠"的直觉，但缺少两个核心操作：
+> 1. **显式重播**——不是简单地 "delta 变永久"，而是**重新走过白天的路径**，用重播后的表征更新各层
+> 2. **双系统学习**——新增物体先以"快速、稀疏、可能有噪声"的形式写入，Consolidator 再以"慢速、去噪、整合"的模式转入长期
+
+---
+
+## 6. 预测编码：大脑是预测机器
+
+### 6.1 核心思想
+
+```
+         ┌────── 自上而下的预测 ──────┐
+         │                             │
+    高层表征                          感知输入
+         │                             │
+         └────── 自下而上的误差 ←──────┘
+
+大脑不断生成对下一刻的预测 → 对比实际输入 → 只把"意外"（预测误差）向上传。
+```
+
+### 6.2 空间导航中的预测
+
+| 预测类型 | 例子 | 脑区 |
+|---------|------|------|
+| **感官预测** | "转过去应该看到沙发" | 感觉皮层 ↔ 海马体 |
+| **运动预测** | "走 10 步应该到门口" | 小脑 + MEC |
+| **物体预测** | "卧室里应该有一张床" | 前额叶 + 海马体 |
+
+当预测失败（打开门发现房间被重新布置了）→ 预测误差信号 → 触发**注意 + 学习 + 记忆更新**。
+
+> **工程启发**：PRISM 当前是**被动接受数据**——ZED 来了就写，差异检测只是"发现了"就记录。缺少**主动预测**层。PRISM 2.0 应该在每帧都生成"期望看到什么"，只有当偏差超过阈值才触发写入和更新。
+
+---
+
+## 7. 记忆更新：再巩固而非覆写
+
+### 7.1 重新巩固 (Reconsolidation)
+
+经典模型认为记忆"巩固后就稳定了"。2000 年后的研究发现：**已被巩固的记忆在被再次激活（回忆）时，会短暂回到不稳定状态，允许修改后再重新巩固。**
+
+```
+稳定记忆 ──回忆触发──→ 不稳定状态 ──整合新信息──→ 再巩固（更新版）
+                        │
+                        └── 如果不重新巩固 → 记忆消退
+```
+
+对 PRISM 的启示：
+- 当 ZED 重新观察到 L4 中的一个已知物品时 → 不应直接覆写，而是**先"解锁"该记忆，融合新观测，再"重新封印"**
+- 连续观测不一致 → 降低 confidence 而非直接删除
+- 已标记 `moved` 的物品 → 短暂进入"可修改窗口"，允许位置更新
+
+### 7.2 去稳定化的条件
+
+什么导致一个记忆变得可修改？
+
+| 条件 | 神经机制 | PRISM 对应 |
+|------|---------|-----------|
+| **预测误差** | 打开门，床不在原位 → LC 释放去甲肾上腺素 | `delta/` 差异检测 |
+| **新奇性** | 出现不认识的物品 → 海马体 CA1 强响应 | 未匹配到 L4 节点的新检测 |
+| **上下文变化** | 同样的房间但灯光/时间不同 | 时间戳跨度大 + 场景视觉差异大 |
+
+> **工程启发**：PRISM 需要显式的 **Reconsolidation Flag**——不是所有差异都立即写，而是先标记"待重新协商"，在 Consolidator 阶段才决定采纳/部分采纳/拒绝。
+
+---
+
+## 8. 双流视觉加工：Where 通路 vs What 通路
+
+### 8.1 两条通路
+
+| | 背侧通路 (Dorsal) | 腹侧通路 (Ventral) |
+|---|------------------|-------------------|
+| **俗称** | Where / How | What |
+| **路径** | 初级视皮层 → 后顶叶 | 初级视皮层 → 颞下回 |
+| **表征** | 以自我为中心 (egocentric) | 以物体为中心 (allocentric) |
+| **功能** | 引导动作、伸手抓取、避障 | 物体识别、语义理解 |
+| **速度** | 快、实时 | 慢、需要"辨认" |
+| **记忆** | 不持久 | 可持久 |
+
+### 8.2 两条通路在海马体汇合
+
+海马体是 where + what 的**汇合点**——它同时接收来自两条通路的信息，把它们绑定成一个"在某个地方有某个东西"的完整记忆（episodic memory 的核心）。
+
+> **工程启发**：PRISM 的 L2 (度量/where) 和 L4 (语义/what) 已经体现了两条通路，但**缺少海马体式的汇合层**——即把一个物品和它的精确位置绑定为一个不可分割的 episode。当前物品的位置只是 L4Node 的一个 `pose` 字段，而非与 L2 几何深度耦合的绑定。
+
+---
+
+## 9. 空间注意力与显著性
+
+### 9.1 大脑不记录所有东西
+
+每秒钟视网膜输入 ~10^8 bit，但只有 ~10^1-10^2 bit 进入意识/记忆。大脑通过**显著性过滤器**决定什么值得记住：
+
+| 过滤器 | 机制 | 例子 |
+|--------|------|------|
+| **空间新奇** | 新房间、新走廊 → 海马体强编码 | 第一次进酒店大堂 |
+| **物体新奇** | 没见过的东西 → 多巴胺释放 | 新放的装饰品 |
+| **变化检测** | 预期被违反 → 预测误差 | 椅子不在原来位置 |
+| **目标相关** | 当前任务相关的物品 → 前额叶偏置 | 找遥控器时注意茶几 |
+| **情感标记** | 情感事件 → 杏仁核调节记忆强度 | (机器人场景不适用) |
+
+### 9.2 显著性 → 编码强度
+
+不是所有的经历都以相同精度存储。高显著性事件 → 更强的突触可塑性 → 更持久、更精确的记忆。低显著性 → 只保留模糊的统计信息。
+
+> **工程启发**：PRISM 需要一个 **Salience Gate**——不是 2 Hz 的 VLM 检测全部写入，而是根据"这个检测有多意外/多重要"动态决定**写入精度和持久性**。
+
+---
+
+## 10. 最新研究进展 (2020-2025)
+
+### 10.1 继任表征 (Successor Representations)
+
+内嗅皮层不只编码"当前位置"，还编码**从当前位置出发，未来可能访问的状态**——即对环境的"预测地图"。
+
+- 一个位置的 SR 不只看那个位置本身，而是编码"从这里最容易到达哪里"
+- 这解释了为什么人能瞬间判断"从卧室到厨房要经过走廊"而不需要显式跑 A*
+
+> **工程启发**：PRISM 的 L3 边目前只存 `cost` (距离/难度)。PRISM 2.0 应存储 **SR 向量**——从每个房间到所有其他房间的**期望到达频率**，让路径规划从 A* 降级为一次矩阵乘法。
+
+### 10.2 物体向量细胞 (Object-Vector Cells)
+
+MEC 中发现了一类新细胞：当动物处于某个物体（如障碍物）的特定方向和距离时放电。
+
+- 与位置细胞不同——它不关心绝对位置，而是**相对于地标的位置**
+- 解释了为什么人能"走离沙发两米然后右转"而不需要看地图
+
+> **工程启发**：PRISM 2.0 的 L2 应增加 **Landmark-Relative Coordinates**——不仅存全局位姿，还存相对于最近锚点物体 (L4 家具) 的位置。这在 GPS 不可用场景下比纯 VIO 更鲁棒。
+
+### 10.3 社交位置细胞 (Social Place Cells)
+
+海马体有专门编码"另一个人（或物体）所在位置"的神经元——**空间记忆天然是社会性的**。
+
+> **工程启发**：多机器人场景下，PRISM 应为每个机器人/人维护一个独立的位置轨迹——"小明在厨房" 成为一个可查询的 L4 属性。
+
+### 10.4 认知地图的泛化
+
+2024-2025 年的研究表明，海马-内嗅系统的"认知地图"不仅编码物理空间，还编码**抽象空间**——概念距离、社交关系、甚至图表结构。同一套神经机制在不同领域重复使用。
+
+> **工程启发**：PRISM 的架构可能不仅适用于物理空间——如果抽象得好，同一个 Schema 可以扩展为机器人对"任务流"、"时间线"、甚至"技能树"的记忆。
+
+---
+
+## 11. 总结：从大脑到 PRISM 2.0 的设计原则
+
+| # | 神经机制 | 当前 PRISM 1.5 | → PRISM 2.0 | 优先级 |
+|---|---------|---------------|-------------|--------|
+| A | 网格细胞：跨环境的度量泛化 | ❌ 缺失 | 新增 GridMetric 层 | **P0** |
+| B | 模式分离 (DG)：区分相似场景 | ❌ 只有 CLIP 相似度 | 新增正交化模块 | **P0** |
+| C | 模式完成 (CA3)：部分线索→完整回忆 | ⚠️ 单向匹配 | 改为双向递归确认 | P1 |
+| D | 预测编码：预期→误差驱动更新 | ❌ 被动写入 | 新增预测层 | **P0** |
+| E | 系统巩固：海马重播 + CLS 双系统 | ⚠️ Pipeline D 太粗糙 | 显式重播 + 快慢双系统 | P1 |
+| F | 再巩固：解锁→更新→重新封印 | ❌ 直接覆写 | 引入 Reconsolidation 流程 | P1 |
+| G | 显著性门控：不是所有东西都该记 | ❌ 全量写入 | 新增 Salience Gate | P1 |
+| H | 继任表征：预测未来状态 | ❌ 只有 A* | L3 边存储 SR 向量 | P2 |
+| I | 物体向量细胞：地标相对定位 | ❌ 只有全局位姿 | L2 增加地标相对坐标 | P2 |
+| J | 边界细胞：以墙为骨架 | ⚠️ 房间 polygon | 显式计算边界距离特征 | P1 |
+| K | Where/What 汇合：位置-物品绑定 | ⚠️ 松散关联 | 紧耦合 episodic binding | P2 |
+
+**P0 = 必须在 2.0 实现，P1 = 2.0 应包含，P2 = 2.1 或后续**
+
+---
+
+## 12. 关键参考
+
+| 发现 | 年份 | 核心贡献 | 诺贝尔奖 |
+|------|------|---------|---------|
+| 位置细胞 (O'Keefe & Dostrovsky) | 1971 | 海马体编码空间位置 | 2014 |
+| 认知地图 (Tolman) | 1948 | 动物形成内部空间表征，不仅靠刺激-反应 | — |
+| 网格细胞 (Hafting, Fyhn, Molden, Moser & Moser) | 2005 | 内嗅皮层六边形网格编码 | 2014 |
+| 头方向细胞 (Taube, Muller, Ranck) | 1990 | 独立于位置的方向编码 | — |
+| 边界细胞 (Solstad et al. / Lever et al.) | 2008 | 距边界特定距离放电 | — |
+| 系统巩固 (McClelland, McNaughton, O'Reilly) | 1995 | 互补学习系统 (CLS) 理论 | — |
+| 海马重播 (Wilson & McNaughton / Skaggs & McNaughton) | 1994-1996 | 睡眠 SWR 中重播清醒轨迹 | — |
+| 再巩固 (Nader, Schafe, LeDoux) | 2000 | 已巩固记忆可被重新不稳定化 | — |
+| 预测编码 (Rao & Ballard / Friston) | 1999-2005 | 大脑通过预测误差驱动学习 | — |
+| 继任表征 (Stachenfeld, Botvinick, Gershman / Momennejad et al.) | 2017-2022 | 内嗅皮层编码预测性地图 | — |
+| 物体向量细胞 (Høydal, Skytøen, Andersson, Moser & Moser) | 2019 | 相对地标的方向和距离编码 | — |
+| Lyra 2.0 (Shen et al., NVIDIA) | 2026 | 几何只做路由不做合成 | — |
+
+---
+
+**文档版本**：v1.0
+**撰写日期**：2026-05-17
+**下一步**：将此文档中的 P0/P1 原则转化为 [`plans/PRISM/20_v2_upgrade.md`](../plans/PRISM/20_v2_upgrade.md) 的具体架构改动