Add multiple research papers in PDF format to the repository, including recent works on AI and physics, with file sizes ranging from 1.7 MB to 32.3 MB.
Sync to site1 / sync (push) Has been cancelled
Sync to site1 / sync (push) Has been cancelled
This commit is contained in:
gaojie
Submodule
+1
Submodule research/multiply/MultiPLY added at 2888361d39
@@ -0,0 +1,324 @@
|
||||
# MultiPLY 技术讲解：面向 3D 世界的多感官、以物体为中心的具身大语言模型
|
||||
|
||||
> 论文全称：*MultiPLY: A Multisensory Object-Centric Embodied Large Language Model in 3D World*
|
||||
> 发表会议：CVPR 2024
|
||||
> 机构：UMass Amherst、UCLA、MIT-IBM Watson AI Lab
|
||||
> 作者：Yining Hong, Zishuo Zheng, Peihao Chen, Yian Wang, Junyan Li, Zhenfang Chen, Chuang Gan
|
||||
> arXiv：[2401.08577](https://arxiv.org/abs/2401.08577)（2024-01-16）
|
||||
> 项目主页：<https://vis-www.cs.umass.edu/multiply/>
|
||||
> 代码仓库：<https://github.com/UMass-Embodied-AGI/MultiPLY>
|
||||
|
||||
本讲解面向具身智能 / 多模态大模型方向的研究者，目标是把 MultiPLY 的动机、核心设计、数据构造、模型结构、训练范式与实验结论讲清楚，并对它在技术谱系中的位置与局限做出评估。
|
||||
|
||||
---
|
||||
|
||||
## 1. 一句话概括
|
||||
|
||||
MultiPLY 是第一批把"**主动交互式多感官感知**"塞进大语言模型的工作之一。它让一个由 LLM 驱动的具身智能体（embodied agent）在 3D 场景里**主动行动**——导航、靠近、敲击、触摸物体——并在每一步把视觉、听觉（撞击声）、触觉、温度等**多感官反馈**重新喂回 LLM，从而在"词语—动作—感知"三者之间建立关联。
|
||||
|
||||
与"被动多模态 LLM"（一次性把所有传感数据当输入塞进去）相比，MultiPLY 的关键差异是：**多感官细节只有在智能体真正去交互时才被"揭示"出来**，这使得感知是按需的、序列化的、可推理的。
|
||||
|
||||
---
|
||||
|
||||
## 2. 它想解决什么问题
|
||||
|
||||
### 2.1 被动感知的局限
|
||||
|
||||
当下绝大多数多模态 LLM（图文模型、3D-LLM 等）都是**被动吸收**传感数据：图像、点云、音频在推理开始时就被一次性编码为输入 token。这带来两个问题：
|
||||
|
||||
- **缺乏主动性**：模型无法"决定去摸一下这个杯子有多烫"或"敲一下这个箱子是不是空的"。而物体的很多属性（材质、温度、是否中空、软硬）本质上必须通过交互才能获得。
|
||||
- **信息纠缠**：把所有模态一次性融合成单一 embedding，会让细粒度区分（材质 vs 温度 vs 声音）混在一起，难以分步推理。
|
||||
|
||||
### 2.2 整体点云表示的代价
|
||||
|
||||
同组的前作 **3D-LLM**（把整体 3D 点云编码进 LLM）证明了 3D 推理的可行性，但代价是：**训练昂贵、对单个物体的推理效率低**。当任务其实只关心场景里少数几个物体时，编码整张场景的稠密点云是浪费。
|
||||
|
||||
### 2.3 数据稀缺
|
||||
|
||||
要训练一个"会交互的多感官具身 LLM"，需要"动作 + 多感官观测 + 语言"三元对齐的数据。这类数据现实中几乎不存在。MultiPLY 的相当一部分贡献其实在于**用仿真 + LLM 自动化地把这套数据造出来**。
|
||||
|
||||
---
|
||||
|
||||
## 3. 核心思想总览
|
||||
|
||||
MultiPLY 把三件事拼在一起：
|
||||
|
||||
1. **以物体为中心的抽象场景表示**（object-centric scene representation）——场景一开始只给"有哪些物体、在哪里"的抽象信息，不给细节感官数据。
|
||||
2. **动作 token（action tokens）**——让 LLM 直接"生成动作"，驱动智能体去交互。
|
||||
3. **状态 token（state tokens）**——把交互后获得的多感官观测，编码后**追加回上下文**，供 LLM 生成后续文本或下一个动作。
|
||||
|
||||
这三者构成一个**闭环**：
|
||||
|
||||
```
|
||||
抽象场景表示 → LLM 生成 [动作 token] → 智能体在仿真中执行动作
|
||||
↑ │
|
||||
└──── [状态 token]（多感官观测编码回填） ←──────┘
|
||||
│
|
||||
LLM 继续生成文本 / 下一个动作
|
||||
```
|
||||
|
||||
这正是它区别于"一次性塞输入"的被动模型的根本所在：**感知是行动的结果，而行动是 LLM 推理的产物。**
|
||||
|
||||
---
|
||||
|
||||
## 4. 数据：Multisensory Universe（500k 条交互数据）
|
||||
|
||||
数据是 MultiPLY 的基石，整条生成流水线值得拆开看。
|
||||
|
||||
### 4.1 场景底座：HM3D
|
||||
|
||||
使用 **Habitat-Matterport 3D（HM3D）** 提供的真实室内 3D 场景作为环境底座，在 **Habitat-sim** 仿真器里运行。
|
||||
|
||||
**问题**：HM3D 原生场景里的物体传感信息不足、多样性有限，而且在 Habitat-sim 里**不可交互**。
|
||||
|
||||
### 4.2 注入可交互的多感官物体
|
||||
|
||||
为此作者往场景里**添加新的可交互物体**，来源有两个：
|
||||
|
||||
- **ObjectFolder**：约 1k 个物体网格，其**撞击声（impact sound）以隐式神经场（implicit neural field）形式存储**，并标注了材质信息。这是音频与材质感官的主要来源。
|
||||
- **Objaverse**：约 80 万个 3D 物体的超大物体库，从中筛选适合出现在室内场景的物体，扩充视觉多样性。
|
||||
|
||||
### 4.3 多感官信号怎么来
|
||||
|
||||
不同模态由不同仿真/编码手段生成：
|
||||
|
||||
| 模态 | 信号来源 | 触发动作 |
|
||||
|------|----------|----------|
|
||||
| 视觉 / 点云 | 物体网格渲染 + 以物体为中心的特征 | OBSERVE |
|
||||
| 音频（撞击声） | ObjectFolder 的隐式神经声场 | HIT |
|
||||
| 触觉 | **DiffTactile**（基于 MLS-MPM 仿真刚性 / 弹性 / 弹塑性物体，使用带位置标记点的 bubble gripper） | TOUCH |
|
||||
| 温度（热成像） | 物体逐个标注 / 模拟的温度数据 | TOUCH |
|
||||
|
||||
### 4.4 用 ChatGPT 批量生成任务
|
||||
|
||||
作者用 **ChatGPT** 来"出题"：生成各类任务的输入与输出（指令与目标回答），覆盖多感官描述（captioning）、问答（QA）、对话（dialogue）、操作（manipulation）、任务分解（task decomposition）等。随后让一个**具身智能体在仿真环境里真正去探索、交互**，采集这些任务对应的多感官观测，形成"指令 — 动作序列 — 多感官观测 — 回答"的完整训练样本。
|
||||
|
||||
最终得到 **Multisensory Universe：约 50 万条多感官交互数据**。
|
||||
|
||||
> 这套"用 LLM 自动造指令数据 + 仿真采集观测"的思路，是 LLaVA "用 GPT-4 造图文指令数据再做 instruction tuning" 范式向**具身、多感官、3D 交互**的延伸。
|
||||
|
||||
---
|
||||
|
||||
## 5. 模型架构
|
||||
|
||||
### 5.1 以物体为中心的场景编码
|
||||
|
||||
MultiPLY **不**把整张场景编码成稠密点云，而是构建抽象的、以物体为中心的表示。论文叙述上对标 **ConceptGraphs**（开放词表 3D 场景图、CLIP grounding）的思路：从带位姿的 RGB-D 序列出发，分割出物体区域、用 CLIP 编码并跨多视角融合，得到"3D 物体 + 视觉/语言描述符"的集合。
|
||||
|
||||
不过**公开仓库里 `simulator/semantic_extractor.py` 与 `feature_extractor.py` 的真实实现更直接**：智能体在房间的可导航网格点上逐点"球形扫描"（左转 3 次凑满 360° + 上看 + 下看，共 6 视角），每帧拿 RGB + 深度 + **仿真器给出的 ground-truth 语义分割**；对每个实例 mask 抠图，送入 **LLaVA 的 CLIP 视觉编码器（`LlaVa_Encoder`）** 编码，再对该物体的多视角特征取均值，得到一个 **1024 维**的物体级特征（逐物体存成 `.pt`）；点云则由深度图反投影（`Reconstruct3D.depth_map2points`）后下采样得到。也就是说，released 版用**仿真器真值语义掩码**替代了 SAM/检测器这一步，是一种工程上更省事的近似。
|
||||
|
||||
这套表示的两大好处不变：**开放词表/语义丰富** + **稀疏高效**（只保留物体级抽象，而非全场景稠密点云）。在 MultiPLY 里，它的作用是先让 LLM 知道"场景里有哪些物体、大致在哪"，而**把每个物体的细节多感官信息留到交互时再揭示**。
|
||||
|
||||
### 5.2 各模态编码器
|
||||
|
||||
每条感官流都被编码成 **1024 维**特征，再通过各自的投影层映射进 LLM 的隐藏维度（hidden size）。从代码（`llava_arch.py`）看，投影层分两套：
|
||||
|
||||
- **场景 / 视觉（`<scene>` / `<visual>`）**：复用 LLaVA 原有的视觉投影器 `mm_projector`（线性或 `mlp2x_gelu`）。特征来源是上文的多视角 CLIP 物体特征。
|
||||
- **触觉（`<tactile>`）**：来自触觉仿真读数（`tactile_reading/marker4.pt`，对应论文里的 **DiffTactile**，基于 MLS-MPM 仿真、bubble gripper 标记点），经一个**新增的 2 层 GELU MLP**（`tactile_projector`）投影。
|
||||
- **声音（`<sound>`）**：来自 ObjectFolder 的撞击声特征（`impact_sound .pt`），或场景环境音的 audioset embedding；经**新增 2 层 GELU MLP**（`sound_projector`）投影。论文层面对应用 **CLAP** 把声音对齐到语言空间。
|
||||
- **温度（`<temperature>`）**：论文中作为第四种感官，但 released `llava_arch.py` 中**没有**对应的 `temperature_projector`，公开训练循环也未真正喂入温度特征——属于代码未完整释出的部分。
|
||||
|
||||
> 关键工程细节：训练时 `del model.model.vision_tower`，即**把 LLaVA 自带的在线 CLIP 视觉塔删掉**——所有感官特征都是**离线预提取**好的 `.pt`，训练时直接加载。这大幅降低了显存与计算开销，但也意味着特征提取与 LLM 训练是解耦的两个阶段。
|
||||
|
||||
### 5.3 LLM 主干与 token 体系
|
||||
|
||||
MultiPLY 构建在 **LLaVA 框架**之上，主干语言模型为 **Vicuna-7B（即 `liuhaotian/llava-v1.5-7b`，源自 LLaMA-2）**，并在其上做指令微调。各感官观测由各自的传感编码器编码，再通过投影层（sensor-to-image adapter）连接进 LLM——即把各模态特征对齐到 LLaVA 原本处理图像特征的接口上。它在 LLM 的词表里通过 `tokenizer.add_tokens(..., special_tokens=True)` + `resize_token_embeddings` 引入了两类**特殊 token**（token 字符串均来自仓库 `dataset.py`，是真实命名）：
|
||||
|
||||
- **状态 token（state tokens）**：占位符，前向时其 embedding 会被对应的感官特征**替换**。包括 `<scene>`（场景里各物体的抽象特征）、`<visual>`（观察得到的物体点云/视觉特征）、`<tactile>`（触觉）、`<sound>`（撞击声）、`<temperature>`（温度）、`<ambient>`（环境音）。
|
||||
- **动作 token（action tokens）**：让 LLM"说出"要执行的动作，驱动智能体交互。包括 `<observe>`（观察、取物体点云）、`<touch>`（触摸，取触觉/温度）、`<hit>`（敲击，取撞击声）、`<select>`（选定目标物体）、`<nav>`（导航）、`<pick-up>` / `<pick-down>`（拿起/放下）、`<look-around>`（环视探索）。
|
||||
|
||||
> 注意：论文行文里把动作写成 NAVIGATE / OBSERVE / TOUCH / HIT 等大写名，而**代码里的真实 token 是上面这些尖括号小写形式**。此外，released 训练脚本实际只接入了 `<scene>` / `<visual>` / `<tactile>` / `<sound>` 四类状态特征（见第 7 节），`<temperature>` / `<ambient>` 及部分动作 token 已在词表中定义但未在公开训练循环里完整启用。
|
||||
|
||||
### 5.4 推理时的闭环
|
||||
|
||||
推理时模型与环境形成闭环：
|
||||
|
||||
1. LLM 基于当前上下文（抽象场景 + 已有观测）**生成一个动作 token**；
|
||||
2. 智能体在仿真环境中**执行该动作**，得到下一帧多感官状态观测；
|
||||
3. 观测经对应编码器编码为**状态 token**，**追加回 LLM 上下文**；
|
||||
4. LLM 据此**继续生成文本（回答）或下一个动作 token**，直至完成任务。
|
||||
|
||||
这套"生成动作 → 环境反馈 → 回填状态 → 再生成"的机制，使 LLM 能像人一样**边探索边收集证据、分步推理**，而不是一次性接收全部感官输入。
|
||||
|
||||
---
|
||||
|
||||
## 6. 训练范式
|
||||
|
||||
- **指令微调（instruction tuning）**：在 Multisensory Universe 数据上做指令微调，把动作 token 与状态 token 一并纳入序列建模。数据以 `Question: ... Answer: ...` 形式组织，**只对答案部分计算语言建模损失**（`fsdp_train.py` 里用分隔符 token id `22550`，即 "Answer" 定位答案起点，之前的 token 全部置为 `-100` 忽略）。
|
||||
- **全参数微调，而非冻结**：与"冻结编码器只训投影层"的直觉不同，released 脚本里 `model.requires_grad_(True)`——**整个 LLM + 各投影层一起训练**（视觉塔已被删除，特征离线预提取）。优化器 AdamW，学习率 **1e-6**，`batch_size=2`，`max_length=2048`。
|
||||
- **双目标损失**（这是代码里最值得注意的设计，论文正文较少强调）：
|
||||
- **`loss1`（语言建模）**：标准的下一 token 交叉熵，只在答案 token 上生效。
|
||||
- **`loss2`（物体选择 / grounding）**：用 LLM **最后一层、最后一个位置的 hidden state** 与投影后的场景物体特征做点积（`einsum("abf,acf->abc")`）得到每个物体的"被选中分数"，再对二值标签 `prediction`（该物体是否为目标）做 **加权 BCE**（正样本权重 1、负样本 0.2、padding 0，外加 `pos_weight=5`）。
|
||||
- 总损失 `loss = loss1 + loss2`。这把"物体检索/指代消解"显式地变成一个可监督的注意力对齐任务，正是它在物体检索基准上大幅领先的工程原因之一。
|
||||
- **分布式训练**：使用 **FSDP（Fully Sharded Data Parallel）**，`ShardingStrategy.SHARD_GRAD_OP`、fp16 混合精度、按 `LlamaDecoderLayer` 自动 wrap。入口 `fsdp_train.py`，通过 SLURM + `torchrun` 启动（示例：`--folder retrieval_attention3 --num_epochs=1000`，默认 8 卡/节点）。
|
||||
|
||||
---
|
||||
|
||||
## 6.5 代码级实现剖析（基于本地仓库精读）
|
||||
|
||||
仓库结构清晰，分三块：`model_release/`（改造版 LLaVA + 训练/数据）、`simulator/`（Habitat-sim 多感官仿真与特征提取）、`utils/`。以下是把"论文概念"对应到"代码事实"的关键点。
|
||||
|
||||
### 6.5.1 多感官特征如何"插入"LLM
|
||||
|
||||
核心在 `llava_arch.py` 的 `prepare_inputs_labels_for_multimodal`：
|
||||
|
||||
1. 先用 `embed_tokens` 把 `input_ids` 正常编码为文本 embedding；
|
||||
2. 把各模态特征过投影层：`scene/visual → mm_projector`，`tactile → tactile_projector`，`sound → sound_projector`；
|
||||
3. 用 `_insert_feature` 按"插入位置"（dataset 里记录的各占位 token 出现处 `*_insert_loc`）**逐位替换** embedding，并把这些位置的 label 设为 `-100`（不计入 LM 损失）；
|
||||
4. 之后就是标准 LLaMA 前向 + `lm_head`。
|
||||
|
||||
也就是说，多感官信息是以"**把占位 token 的词向量替换成感官特征向量**"的方式进入 LLM 的——这与 LLaVA 处理图像 patch 的机制同源。
|
||||
|
||||
### 6.5.2 占位符的数量对齐技巧
|
||||
|
||||
`dataset.py` 里有一个巧妙处理：文本中每出现一个 `<scene>`（或 `<tactile>` 等），会被**按特征条数复制**——`text.replace(self.scene_token, self.scene_token*len(scene_feature))`。这样占位 token 的数量正好等于要插入的特征向量数量，使第 6.5.1 步的"逐位替换"严格对齐。场景特征默认形状是 `(256, 1024)`（最多 256 个物体、每个 1024 维）。
|
||||
|
||||
### 6.5.3 数据条目的结构
|
||||
|
||||
每条样本是一个 JSON dict，可能包含：`question` / `answer` / `scene`（场景 id，去 `dataset/feature_dict/<scene>/<obj_id>.pt` 取物体特征）/ `visual` / `tactile_reading` / `impact_sound` / `temperature` / `prediction`（逐物体的目标性标签，用于 `loss2`）。`__getitem__` 用 `try/except` 包裹，取不到特征就回退到上一条——这是研究代码常见的容错写法，也说明数据完整性需要使用者自行保证。
|
||||
|
||||
### 6.5.4 仿真器（`simulator/`）
|
||||
|
||||
`MultisensorySimulator` 继承自 `habitat_sim.Simulator`：
|
||||
|
||||
- **放置可交互物体**：`_place_objs` 把 Objaverse / ObjectFolder 的网格按 bbox 缩放、定位、设材质与质量（动态/静态）后注入 HM3D 场景，并赋予从 10000 起的语义 id（便于和原生物体区分）。
|
||||
- **导航**：`move_agent_to_target` 用 `ShortestPathFollower` 沿最短路径走到目标。
|
||||
- **声学**：`calculate_audio` 用各步的**房间脉冲响应（RIR）**与声源音频做 `fftconvolve` 卷积，生成**双耳（binaural）空间化音频**——这是 SoundSpaces 式的声学仿真。
|
||||
- **特征提取**：`semantic_extractor.py` / `feature_extractor.py` 在网格点球形扫描，借助 GT 语义掩码抠出物体、用 LLaVA CLIP 编码并多视角平均，落盘为物体级 `.pt` 特征与房间点云。
|
||||
|
||||
### 6.5.5 推理评测
|
||||
|
||||
`fsdp_train.py` 的 `eval()` 对短答案 QA 做贪心生成（`do_sample=False, max_new_tokens=10`），与真值字符串精确匹配统计准确率——对应论文里问答类任务的评测方式。
|
||||
|
||||
---
|
||||
|
||||
## 7. 能做哪些任务
|
||||
|
||||
MultiPLY 是一个**统一**的多任务模型，论文展示了它在以下任务上的能力：
|
||||
|
||||
- 多感官描述（multisensory captioning）
|
||||
- 多感官问答 / 具身问答（multisensory QA / embodied QA）
|
||||
- 对话（dialogue）
|
||||
- 物体检索（object retrieval）——给定多感官线索找到目标物体
|
||||
- 工具使用（tool use）
|
||||
- 任务分解（task decomposition）
|
||||
- 操作与导航（manipulation / navigation）
|
||||
|
||||
---
|
||||
|
||||
## 8. 实验结论
|
||||
|
||||
论文围绕几个研究问题（RQ）组织实验：物体检索、工具使用、多感官描述、任务分解，以及各感官模态的贡献（消融）。
|
||||
|
||||
### 8.1 物体检索（最具代表性的量化结果）
|
||||
|
||||
| 模型 | 物体检索准确率 |
|
||||
|------|----------------|
|
||||
| **MultiPLY** | **56.7%** |
|
||||
| PointBind-LLM（微调） | 48.9% |
|
||||
| ConceptGraph + CLIP | 18.7% |
|
||||
|
||||
MultiPLY 大幅领先。作者的分析是：**让 LLM 把不同传感数据"解耦、分步推理"，而不是融合成单一 embedding**，对于需要细粒度区分（材质、温度等）的检索任务至关重要。
|
||||
|
||||
### 8.2 总体表现与消融
|
||||
|
||||
- 在物体检索、工具使用、多感官描述、任务分解等一系列具身任务上，MultiPLY **大幅超越各类基线**。
|
||||
- 消融实验表明：**逐步叠加感官模态会持续提升性能**，使用视觉 + 音频 + 触觉 + 温度的完整模型取得最高准确率——验证了"多感官交互式感知"这一核心设计的价值。
|
||||
|
||||
> 注：除物体检索的具体数值外，工具使用 / 描述 / 任务分解的完整对比表与逐模态消融的精确数值，建议查阅 [CVPR 2024 论文 PDF](https://openaccess.thecvf.com/content/CVPR2024/papers/Hong_MultiPLY_A_Multisensory_Object-Centric_Embodied_Large_Language_Model_in_3D_CVPR_2024_paper.pdf) 原表。
|
||||
|
||||
---
|
||||
|
||||
## 9. 在技术谱系中的位置
|
||||
|
||||
MultiPLY 站在几条线索的交叉点上：
|
||||
|
||||
- **LLaVA**（视觉指令微调）→ 提供了"用强 LLM 造指令数据 + 冻结编码器 + 指令微调"的训练范式；MultiPLY 把它从 2D 图文推广到具身多感官 3D 交互。
|
||||
- **3D-LLM**（同组前作，整体点云进 LLM）→ MultiPLY 用**以物体为中心的稀疏表示**替代稠密点云，降低训练/推理成本。
|
||||
- **ConceptGraphs**（开放词表 3D 场景图，CLIP grounding）→ 提供了以物体为中心、开放词表的场景编码骨架。
|
||||
- **ObjectFolder / DiffTactile / CLAP**（多感官仿真与编码）→ 提供视觉之外的声、触、热信号来源与编码手段。
|
||||
|
||||
它的**真正新意**在于把"**动作 token + 状态 token 的交互闭环**"引入 LLM，把感知从"被动输入"变为"主动行动的产物"。
|
||||
|
||||
---
|
||||
|
||||
## 10. 局限与可讨论之处
|
||||
|
||||
以研究者视角，几个值得关注的点：
|
||||
|
||||
- **强依赖仿真**：多感官信号（撞击声、触觉、温度）主要来自仿真（ObjectFolder 神经声场、DiffTactile、标注温度）。从仿真到真实世界（sim-to-real）的迁移、真实触觉/热传感的噪声与标定，论文未充分覆盖。
|
||||
- **数据由 ChatGPT 生成**：指令与目标回答由 ChatGPT 自动产出，可能继承其偏置或产生与物理不完全一致的"幻觉式"标注；数据质量的系统评估是开放问题。
|
||||
- **动作空间相对受限**：`<nav>` / `<observe>` / `<touch>` / `<hit>` 等是离散、高层的动作原语，距离真实机器人连续控制（力控、抓取轨迹）还有距离。
|
||||
- **以物体为中心的取舍**：抽象表示高效，但会丢失场景级几何/空间关系的细节，对需要精细空间推理的任务可能不利；且 released 特征提取依赖仿真器 GT 语义掩码，迁移到真实场景需换成真正的开放词表分割（如 SAM/ConceptGraphs）。
|
||||
- **复现成本与代码完整度**：FSDP 多卡训练 + 多个仿真器/编码器（Habitat-sim、DiffTactile、SoundSpaces 声学、CLIP 提取）的环境搭建较重；并且**公开代码是研究级、部分释出**——`README` 的 Requirements / Dataset Curation 仍为 TODO，温度模态投影器缺失，`model/feature_encoder.py` 等被引用文件未包含，数据 JSON（`all_questions.json`）与预提取特征需自行准备。把它当作"权威参考实现"而非"开箱即用工程"更稳妥。
|
||||
|
||||
---
|
||||
|
||||
## 11. 给想上手的研究者的建议路径
|
||||
|
||||
1. 先读 [arXiv 论文](https://arxiv.org/abs/2401.08577) 的 Method 与 Figure（动作/状态 token 闭环、数据流水线图）建立整体直觉。
|
||||
2. 直接读代码三条主线，按这个顺序最省力：
|
||||
- **token 与数据**：`model_release/dataset.py`（特殊 token 定义、占位符复制对齐、各模态特征加载）；
|
||||
- **模型如何吃进多感官特征**：`model_release/llava/llava/model/llava_arch.py` 的 `prepare_inputs_labels_for_multimodal` + `multimodal_projector/builder.py`；
|
||||
- **训练目标**：`model_release/fsdp_train.py` 的 `train_one_epoch`（双损失 `loss1`+`loss2`、答案掩码、FSDP 配置）。
|
||||
3. 想搞数据/仿真，再看 `simulator/`：`multisensory_simulator.py`（放物体、导航、RIR 声学）与 `semantic_extractor.py` / `feature_extractor.py`（球形扫描 + 物体级 CLIP 特征落盘）。
|
||||
4. 沿依赖补外部组件背景：**Habitat-sim + HM3D**（环境）、**Objaverse / ObjectFolder**（物体与撞击声）、**DiffTactile**（触觉）、**LLaVA-1.5**（主干）。
|
||||
5. 若关注方法迁移，重点研究"动作/状态 token 闭环 + 物体选择注意力损失"这一组合——它可脱离具体仿真器，迁移到其他需要"模型主动获取信息再决策"的场景（主动视觉、工具调用、检索增强）。
|
||||
|
||||
---
|
||||
|
||||
## 12. 相关工作（10 篇相近方向论文）
|
||||
|
||||
按子方向分组，附 arXiv 链接，并标注与 MultiPLY 的关系。
|
||||
|
||||
### 12.1 3D-LLM 谱系与具身 VLA（与 MultiPLY 最直接相关，多为同组工作）
|
||||
|
||||
1. **3D-LLM: Injecting the 3D World into Large Language Models**（NeurIPS 2023）—— MultiPLY 的直接前作，把整体 3D 点云特征注入 LLM；MultiPLY 用"以物体为中心的稀疏表示"改进了它的训练/推理效率。<https://arxiv.org/abs/2307.12981>
|
||||
2. **3D-VLA: A 3D Vision-Language-Action Generative World Model**（ICML 2024）—— 同组工作，同样在 LLM 词表里加 scene / object / action 特殊 token，并接生成式世界模型；与 MultiPLY 的 token 机制是姊妹设计。<https://arxiv.org/abs/2403.09631>
|
||||
3. **LEO: An Embodied Generalist Agent in 3D World**（ICML 2024）—— 两阶段训练（3D 视觉-语言对齐 + VLA 指令微调）的具身通用智能体，与 MultiPLY 在"3D 具身指令微调"上高度并行。<https://arxiv.org/abs/2311.12871>
|
||||
|
||||
### 12.2 具身多模态大模型（感知—推理—动作）
|
||||
|
||||
4. **PaLM-E: An Embodied Multimodal Language Model**（2023）—— 把连续传感模态直接编码进 LLM，建立"词语—感知"链接，是 MultiPLY"多感官入 LLM"思路的奠基工作之一。<https://arxiv.org/abs/2303.03378>
|
||||
5. **EmbodiedGPT: Vision-Language Pre-Training via Embodied Chain of Thought**（NeurIPS 2023）—— 具身链式思维 + EgoCOT 数据集的端到端具身基础模型。<https://arxiv.org/abs/2305.15021>
|
||||
6. **Matcha: Chat with the Environment — Interactive Multimodal Perception Using LLMs**（IROS 2023）—— 与 MultiPLY"主动交互式感知"最神似：用 LLM 指挥探索性动作，对视觉/声音/触觉/本体感觉反馈做推理与规划。<https://arxiv.org/abs/2303.08268>
|
||||
|
||||
### 12.3 点云 / 物体级 3D LLM（含 MultiPLY 的实际基线）
|
||||
|
||||
7. **PointLLM: Empowering LLMs to Understand Point Clouds**（ECCV 2024）—— 物体级彩色点云理解与描述，3D-LLM 方向代表作。<https://arxiv.org/abs/2308.16911>
|
||||
8. **Point-Bind & Point-LLM: Aligning Point Cloud with Multi-modality**（2023）—— 把点云与多模态对齐；其微调版 **PointBind-LLM 正是 MultiPLY 物体检索实验里的最强基线**（48.9% vs MultiPLY 56.7%）。<https://arxiv.org/abs/2309.00615>
|
||||
|
||||
### 12.4 多感官物体感知与触觉
|
||||
|
||||
9. **The ObjectFolder Benchmark: Multisensory Learning with Neural and Real Objects**（CVPR 2023）—— 视觉/听觉/触觉的物体级多感官数据集与基准，**正是 MultiPLY 撞击声与材质数据的来源**（早期版 <https://arxiv.org/abs/2109.07991>）。<https://arxiv.org/abs/2306.00956>
|
||||
10. **VTV-LLM: Universal Visuo-Tactile Video Understanding for Embodied Interaction**（2025）—— 首个面向"视触觉视频"理解的多模态 LLM，把触觉感知接入语言，延续 MultiPLY 的触觉方向。<https://arxiv.org/abs/2505.22566>
|
||||
|
||||
### 12.5 延伸阅读（3D 场景级 LLM 与综述）
|
||||
|
||||
- **LL3DA: Visual Interactive Instruction Tuning for Omni-3D Understanding**<https://arxiv.org/abs/2311.18651>
|
||||
- **Chat-Scene / Chat-3D v2: Bridging 3D Scene and LLMs with Object Identifiers**<https://arxiv.org/abs/2312.08168>
|
||||
- **Scene-LLM: Extending Language Model for 3D Visual Understanding and Reasoning**<https://arxiv.org/abs/2403.11401>
|
||||
- **综述：Exploring Embodied Multimodal Large Models**<https://arxiv.org/abs/2502.15336>
|
||||
|
||||
---
|
||||
|
||||
## 来源（Sources）
|
||||
|
||||
- [MultiPLY 论文 arXiv:2401.08577](https://arxiv.org/abs/2401.08577)
|
||||
- [CVPR 2024 Open Access PDF](https://openaccess.thecvf.com/content/CVPR2024/papers/Hong_MultiPLY_A_Multisensory_Object-Centric_Embodied_Large_Language_Model_in_3D_CVPR_2024_paper.pdf)
|
||||
- [项目主页 vis-www.cs.umass.edu/multiply](https://vis-www.cs.umass.edu/multiply/)
|
||||
- [GitHub 代码仓库 UMass-Embodied-AGI/MultiPLY](https://github.com/UMass-Embodied-AGI/MultiPLY)
|
||||
- [CVPR 2024 Poster #29685](https://cvpr.thecvf.com/virtual/2024/poster/29685)
|
||||
- [UMass Embodied AGI 发表列表](https://embodied-agi.cs.umass.edu/publications/)
|
||||
|
||||
相关工作（第 12 节）来源：
|
||||
- [3D-LLM (2307.12981)](https://arxiv.org/abs/2307.12981)
|
||||
- [3D-VLA (2403.09631)](https://arxiv.org/abs/2403.09631)
|
||||
- [LEO (2311.12871)](https://arxiv.org/abs/2311.12871)
|
||||
- [PaLM-E (2303.03378)](https://arxiv.org/abs/2303.03378)
|
||||
- [EmbodiedGPT (2305.15021)](https://arxiv.org/abs/2305.15021)
|
||||
- [Matcha (2303.08268)](https://arxiv.org/abs/2303.08268)
|
||||
- [PointLLM (2308.16911)](https://arxiv.org/abs/2308.16911)
|
||||
- [Point-Bind & Point-LLM (2309.00615)](https://arxiv.org/abs/2309.00615)
|
||||
- [ObjectFolder Benchmark (2306.00956)](https://arxiv.org/abs/2306.00956)
|
||||
- [VTV-LLM (2505.22566)](https://arxiv.org/abs/2505.22566)
|
||||
@@ -0,0 +1,205 @@
|
||||
# MultiPLY 训练过程讲解
|
||||
|
||||
> 本文基于 MultiPLY 官方仓库（`model_release/` 下的 `fsdp_train.py`、`dataset.py`、`llava/llava/model/llava_arch.py`、`builder.py`）的**真实代码**，逐步讲清它"怎么训"。
|
||||
> 配套阅读：同目录《MultiPLY技术讲解.md》（含完整架构与代码级剖析）。
|
||||
> 一句话定位：MultiPLY = **在 LLaVA-1.5-7B 上、用预提取的多感官特征做指令微调**，并叠加一个**物体选择（grounding）注意力损失**形成双目标训练。
|
||||
|
||||
---
|
||||
|
||||
## 0. 全局概览
|
||||
|
||||
训练可以拆成"一个离线阶段 + 一个在线阶段"：
|
||||
|
||||
```
|
||||
阶段零（离线，仿真器里做） 阶段一（在线，fsdp_train.py 做）
|
||||
仿真采集 → 各模态特征预提取 .pt 加载 LLaVA-1.5-7B → 注入多感官 token
|
||||
视觉/点云 (CLIP) → 删除视觉塔、全参数可训
|
||||
触觉 (DiffTactile) → FSDP 分布式
|
||||
撞击声 (ObjectFolder/CLAP) → 双损失：语言建模 + 物体选择
|
||||
逐物体目标标签 prediction → AdamW / fp16 / 每 epoch 存档
|
||||
```
|
||||
|
||||
关键点先记住三条：
|
||||
|
||||
1. **特征是离线算好的**：训练时不跑视觉塔，直接从 `.pt` 加载各模态特征（省显存/算力）。
|
||||
2. **全参数微调**：不是"冻结编码器只训投影头"，而是整个 LLM + 各投影层一起训。
|
||||
3. **双目标损失**：语言建模损失（`loss1`）+ 物体选择损失（`loss2`），两者相加。
|
||||
|
||||
---
|
||||
|
||||
## 1. 阶段零：离线特征预提取（数据准备）
|
||||
|
||||
训练读的不是原始图像/声音，而是**预先算好的特征张量**。每条样本对应一个 JSON 字典（来自 `all_questions.json`），可能含这些字段：
|
||||
|
||||
| 字段 | 含义 | 训练时如何用 |
|
||||
|------|------|--------------|
|
||||
| `question` / `answer` | 指令与目标回答 | 拼成文本序列 |
|
||||
| `scene` | 场景 id | 去 `dataset/feature_dict/<scene>/<obj_id>.pt` 取**每个物体的 1024 维特征**（CLIP 风格，多视角平均；默认场景特征形状 `(256,1024)`，即最多 256 个物体） |
|
||||
| `visual` | 观察到的物体 | 取该物体的视觉/点云特征 |
|
||||
| `tactile_reading` | 触觉读数路径 | 取 `data5/<...>/marker4.pt` 并按 marker 维取均值（对应 DiffTactile） |
|
||||
| `impact_sound` | 撞击声 | 取 `impact_sound_*/0.pt`；或场景环境音 audioset embedding |
|
||||
| `temperature` | 温度 | 代码中部分实现（投影器在公开版未完整释出） |
|
||||
| `prediction` | **逐物体的目标性二值标签** | 用于 `loss2` 物体选择损失 |
|
||||
|
||||
> 这些特征由 `simulator/` 里的网格扫描 + 各模态仿真器离线生成（详见《MultiPLY技术讲解》第 6.5 节）。训练阶段只管"加载 + 喂进 LLM"。
|
||||
|
||||
---
|
||||
|
||||
## 2. 训练数据怎么组织（`dataset.py`）
|
||||
|
||||
### 2.1 文本模板与"占位符复制"技巧
|
||||
|
||||
`MultisensoryDataset.__getitem__` 把样本拼成固定模板：
|
||||
|
||||
```
|
||||
Question: {question} Answer: {answer} {eos}
|
||||
```
|
||||
|
||||
其中文本里嵌有特殊**占位 token**（`<scene>` `<visual>` `<tactile>` `<sound>` 等）。关键技巧是：**每个占位 token 会按其特征条数被复制**——
|
||||
|
||||
```python
|
||||
text = text.replace(self.scene_token, self.scene_token * len(scene_feature))
|
||||
.replace(self.tactile_token, self.tactile_token * len(tactile_feature))
|
||||
.replace(self.sound_token, self.sound_token * len(sound_feature))
|
||||
.replace(self.visual_token, self.visual_token * len(visual_feature))
|
||||
```
|
||||
|
||||
这样"占位 token 的数量 == 要插入的特征向量数量"，保证后面逐位替换严格对齐（见 §3）。
|
||||
|
||||
### 2.2 tokenize 与插入位置
|
||||
|
||||
文本经 tokenizer（`max_length=2048`，padding 到最大长度）后：
|
||||
|
||||
- 记录每类占位 token 在序列里的下标 `*_insert_loc`（`scene_insert_loc` / `visual_insert_loc` / `tactile_insert_loc` / `sound_insert_loc`）；
|
||||
- 各模态特征按插入位置数量截断对齐；
|
||||
- `prediction` 转成 0/1 浮点张量（`>0` 的置 1），作为物体选择监督。
|
||||
|
||||
### 2.3 collate（成 batch）
|
||||
|
||||
`collate_wrapper` 把一个 batch 拼起来：场景特征 zero-pad 到 batch 内最大物体数，记录 `max_scene_length`，并把各 `insert_loc` 改写成 `[batch_idx, 位置]` 的形式，便于跨 batch 定位。`batch_size=2`。
|
||||
|
||||
---
|
||||
|
||||
## 3. 模型怎么"吃"多感官特征（`llava_arch.py`）
|
||||
|
||||
前向第一步是 `prepare_inputs_labels_for_multimodal`，核心是**把占位 token 的词向量替换成感官特征向量**：
|
||||
|
||||
1. 先正常 `embed_tokens(input_ids)` 得到文本 embedding；
|
||||
2. 把各模态特征过投影层对齐到 LLM 隐藏维：
|
||||
- `scene` / `visual` → 复用 LLaVA 的 **`mm_projector`**
|
||||
- `tactile` → 新增的 **`tactile_projector`**（2 层 GELU MLP）
|
||||
- `sound` → 新增的 **`sound_projector`**（2 层 GELU MLP）
|
||||
3. `_insert_feature` 按 `*_insert_loc` **逐位把占位 token 的 embedding 覆盖成对应特征**，同时把这些位置的 label 设为 `-100`（不计入语言建模损失）；
|
||||
4. 之后就是标准 LLaMA 前向 + `lm_head`。
|
||||
|
||||
> 这与 LLaVA 处理图像 patch 的机制同源——多感官信息以"替换占位词向量"的方式进入 LLM。
|
||||
|
||||
---
|
||||
|
||||
## 4. 训练主循环（`fsdp_train.py`）
|
||||
|
||||
### 4.1 模型加载与可训设置（`main`）
|
||||
|
||||
```python
|
||||
model_path = "liuhaotian/llava-v1.5-7b"
|
||||
tokenizer, model, image_processor, context_len = load_pretrained_model(
|
||||
model_path, None, model_name, device_map=None, add_multisensory_token=True)
|
||||
```
|
||||
|
||||
- `add_multisensory_token=True`：在 `builder.py` 里把 `<scene>/<visual>/<tactile>/<sound>/<observe>/<touch>/<hit>` 等加进 tokenizer 并 `resize_token_embeddings`（扩词表）。
|
||||
- `model.requires_grad_(True)`：**全参数可训**（整 LLM + 投影层）。
|
||||
- `del model.model.vision_tower`：**删掉 LLaVA 自带的在线 CLIP 视觉塔**（特征已离线预提取，省显存）。
|
||||
|
||||
### 4.2 分布式与优化器
|
||||
|
||||
- **FSDP**（Fully Sharded Data Parallel）：
|
||||
- `auto_wrap_policy` 按 `LlamaDecoderLayer` 自动 wrap；
|
||||
- `MixedPrecision` 全 fp16（param/reduce/buffer）；
|
||||
- `ShardingStrategy.SHARD_GRAD_OP`（分片梯度与优化器状态）。
|
||||
- 优化器：**AdamW，lr = 1e-6**。
|
||||
- 数据：`DistributedSampler` + `DataLoader(batch_size=2, num_workers=4)`。
|
||||
- 训练 `num_epochs` 轮，每轮 `train_one_epoch` 后 `save_checkpoint`（FSDP `FULL_STATE_DICT`，rank0 存 `checkpoint_{epoch}.pt`）。
|
||||
|
||||
### 4.3 单步训练（`train_one_epoch`）—— 这是核心
|
||||
|
||||
```python
|
||||
labels = input_ids.clone()
|
||||
answer_indices = torch.where(labels == 22550)[1] # 22550 = "Answer" 分隔符
|
||||
for j, answer_idx in enumerate(answer_indices):
|
||||
labels[j, :answer_idx+2] = -100 # 只对"答案"部分算语言损失
|
||||
labels[labels == tokenizer.pad_token_id] = -100 # padding 不算损失
|
||||
|
||||
with torch.autocast(device_type="cuda"):
|
||||
outputs = llava_model(input_ids, attention_mask, labels=labels,
|
||||
feature_dict=feature_dict, output_hidden_states=True)
|
||||
# —— loss2：物体选择（grounding）——
|
||||
hidden_state = outputs['hidden_states'][-1][:, -1, :].unsqueeze(1) # 最后层、最后位置
|
||||
scene_feature = llava_model.model.mm_projector(sample.scene_feature) # 投影后的物体特征
|
||||
attention = torch.einsum("abf,acf->abc", scene_feature, hidden_state).squeeze(-1)
|
||||
# 加权 BCE：正样本权重1、负样本0.2、忽略0；pos_weight=5
|
||||
loss2 = F.binary_cross_entropy_with_logits(attention, prediction,
|
||||
weight=weights, pos_weight=pos_weight)
|
||||
|
||||
loss = outputs.loss + loss2 # loss1 + loss2
|
||||
loss.backward(); optimizer.step()
|
||||
```
|
||||
|
||||
**要点拆解**：
|
||||
|
||||
- **标签掩码**：用 token id `22550`（LLaMA 分词下的 "Answer"）定位答案起点，把它之前的 token 全置 `-100`——即**只在"答案"部分计算语言建模损失**（问题、占位符、padding 都不算）。
|
||||
- **loss1（语言建模）**：标准下一 token 交叉熵（在 `llava_llama.py` 的 forward 里算好，移位后 `CrossEntropyLoss`）。
|
||||
- **loss2（物体选择 / grounding）**：用 LLM **最后一层、最后一个位置的 hidden state** 与投影后的场景物体特征做点积（`einsum`），得到每个物体的"被选中分数"，再对二值标签 `prediction` 做**加权 BCE**：
|
||||
- 权重 `weights`：目标物体（pred==1）权重 1，非目标（pred==0）权重 0.2，忽略（pred==-1）权重 0；超过 `max_scene_length` 的 padding 物体权重 0；
|
||||
- 额外 `pos_weight=5` 缓解正负样本不平衡。
|
||||
- **总损失**：`loss = loss1 + loss2`，一起反传。
|
||||
|
||||
> 这个 `loss2` 把"物体检索/指代消解"显式变成可监督的注意力对齐任务——正是 MultiPLY 在物体检索基准上大幅领先（56.7% vs 次优 48.9%）的工程原因之一。
|
||||
|
||||
---
|
||||
|
||||
## 5. 推理 / 评测（`eval`）
|
||||
|
||||
评测对短答案 QA 做贪心生成并与真值精确匹配：
|
||||
|
||||
```python
|
||||
output_ids = model.generate(input_ids, feature_dict=feature_dict,
|
||||
do_sample=False, max_new_tokens=10)
|
||||
# 解码后与 ground-truth 字符串 .lower().strip() 精确匹配，统计准确率
|
||||
```
|
||||
|
||||
推理时同样先把多感官特征注入占位 token，再自回归生成；在完整的具身设定下，模型还会**生成动作 token**（`<observe>/<touch>/<hit>` 等）驱动智能体交互、把新观测作为状态 token 回填——形成"动作→反馈→再生成"的闭环（详见架构文档）。
|
||||
|
||||
---
|
||||
|
||||
## 6. 关键超参数 / 配置一览
|
||||
|
||||
| 项 | 取值 | 出处 |
|
||||
|----|------|------|
|
||||
| 主干 | `liuhaotian/llava-v1.5-7b`（Vicuna-7B / LLaMA-2 系） | `fsdp_train.py` |
|
||||
| 可训范围 | 全参数（`requires_grad_(True)`），删除视觉塔 | `fsdp_train.py` |
|
||||
| 优化器 / 学习率 | AdamW / **1e-6** | `fsdp_train.py` |
|
||||
| batch size | 2 | `fsdp_train.py` |
|
||||
| 序列长度 | 2048 | `dataset.py` |
|
||||
| 分布式 | FSDP，`SHARD_GRAD_OP`，fp16 混合精度 | `fsdp_train.py` |
|
||||
| 损失 | `loss1`(LM CE) + `loss2`(物体选择加权 BCE, pos_weight=5) | `train_one_epoch` |
|
||||
| 答案分隔符 | token id `22550`（"Answer"） | `train_one_epoch` |
|
||||
| 特征维度 | 各模态 1024 维 → 投影到 LLM 隐藏维 | `dataset.py` / `llava_arch.py` |
|
||||
| 投影层 | scene/visual→`mm_projector`；tactile/sound→各自 2 层 GELU MLP | `llava_arch.py` |
|
||||
| 存档 | 每 epoch，FSDP FULL_STATE_DICT，rank0 保存 | `save_checkpoint` |
|
||||
|
||||
---
|
||||
|
||||
## 7. 与论文叙述的差异 / 注意点
|
||||
|
||||
- **"冻结"误区**：直觉上 LLaVA 式训练常冻结编码器，但 MultiPLY released 脚本是**全参数微调**（视觉塔已删、特征离线）。
|
||||
- **双损失少被强调**：论文正文偏重"动作/状态 token 闭环"，但代码里 `loss2`（物体选择）对检索类任务很关键。
|
||||
- **温度模态未完整**：`<temperature>` 在词表/数据里出现，但 `llava_arch.py` 没有对应投影器、公开训练循环也未真正喂入——属于部分释出。
|
||||
- **研究级代码**：`all_questions.json`、预提取特征、`requirements` 等需自行准备；`__getitem__` 用 `try/except` 容错，数据完整性需使用者保证。
|
||||
|
||||
---
|
||||
|
||||
## 8. 小结：MultiPLY 训练的三句话
|
||||
|
||||
1. **离线**把视/触/听等多感官信号各自编码成 1024 维特征 `.pt`；
|
||||
2. **在线**在 LLaVA-1.5-7B 上做全参数指令微调，用"占位 token 替换成特征向量"的方式把多感官喂进 LLM，只在答案上算语言损失；
|
||||
3. 叠加一个**物体选择注意力损失**（hidden state × 物体特征 的加权 BCE），让模型学会"挑出目标物体"，与语言损失一起用 FSDP/AdamW/fp16 训练。
|
||||
@@ -0,0 +1,344 @@
|
||||
---
|
||||
title: "V-JEPA 2 深度技术剖析：从自监督视频表征到零样本机器人规划"
|
||||
date: 2026-05-24
|
||||
draft: false
|
||||
tags: ["V-JEPA 2", "JEPA", "Meta", "world-model", "self-supervised", "video", "robotics", "action-conditioned", "MPC"]
|
||||
categories: ["JEPA"]
|
||||
description: "论文（arXiv:2506.09985）+ 官方代码（facebookresearch/vjepa2）结合的 V-JEPA 2 深度技术剖析：逐模块讲解编码器/预测器架构、四支柱 scaling 策略、动作条件世界模型 V-JEPA 2-AC，以及基于 MPC + CEM 的零样本机器人规划。"
|
||||
---
|
||||
|
||||
> 本文聚焦 **V-JEPA 2**（Assran, Bardes, Fan, Garrido, LeCun 等，FAIR @ Meta + Mila，arXiv:2506.09985，2025-06），采用"论文 + 代码"双线讲解：先讲清论文里的设计动机与方法，再对照官方仓库 `facebookresearch/vjepa2` 与 HuggingFace `transformers` 集成讲实现细节。它是 [JEPA 系列综述](index.md) 中 V-JEPA 2 一节的展开深挖版。
|
||||
|
||||
---
|
||||
|
||||
## 一、一句话定位与三大能力
|
||||
|
||||
V-JEPA 2 把一个核心论断推到了规模化的极致：**在表示空间（latent space）中做预测，而不是在像素空间里重建**，配合互联网级视频数据，可以让一个自监督模型同时具备三种能力——
|
||||
|
||||
1. **理解（Understanding）**：作为冻结视觉编码器，在运动理解、动作识别上达到 SOTA。
|
||||
2. **预测 / 预判（Prediction / Anticipation）**：预测未来表示，在人类动作预判（Epic-Kitchens-100）上超过专用模型。
|
||||
3. **规划（Planning）**：在少量机器人交互数据上后训练出 **V-JEPA 2-AC**（action-conditioned），用世界模型做模型预测控制（MPC），在两个全新实验室的 Franka 机械臂上**零样本**完成抓取与放置。
|
||||
|
||||
它与两条主流路线的区别构成了全文的方法论主线：
|
||||
|
||||
- **vs 纯交互式学习（RL / 行为克隆）**：那类方法依赖昂贵的真机交互数据。V-JEPA 2 用互联网视频学习"世界如何演化"——视频里有状态序列但**没有显式动作标签**，自监督正好能利用这种"无动作"数据。
|
||||
- **vs 视频生成式世界模型（如扩散类 Cosmos）**：生成式目标逼迫模型刻画像素级的不可预测细节（纹理、光影）。JEPA 只预测**可预测的语义部分**（如运动物体的轨迹），主动忽略不可预测细节，因此表示更紧凑、规划更快。
|
||||
|
||||
---
|
||||
|
||||
## 二、设计哲学：为什么是 latent prediction + 两阶段
|
||||
|
||||
JEPA 的基本计算图（沿用自 LeCun 2022 与 I-JEPA / V-JEPA）：
|
||||
|
||||
```
|
||||
上下文块 x_ctx ──► 编码器 E_θ ──► z_ctx
|
||||
目标块 x_tgt ──► 目标编码器 E_θ̄(EMA) ──► z_tgt (stop-gradient)
|
||||
预测器 P_φ(z_ctx, mask_tokens) ──► ẑ_tgt
|
||||
损失 L = || ẑ_tgt − z_tgt || (仅在被掩码 patch 上计算)
|
||||
```
|
||||
|
||||
两个关键稳定性设计：
|
||||
|
||||
- **目标编码器用 EMA（指数移动平均）更新**，而非反向传播，避免表示坍塌（representation collapse）。
|
||||
- **stop-gradient** 切断目标分支梯度，防止编码器把所有输入映射到常数这种平凡解。
|
||||
|
||||
V-JEPA 2 在此之上做的最大结构决策是**两阶段解耦**：
|
||||
|
||||
- **阶段一（动作无关预训练）**：在 100 万+ 小时互联网视频上学"世界的动态"，得到通用视觉表示 + 一个动作无关的预测器。这一步完全不需要动作标签。
|
||||
- **阶段二（动作条件后训练，V-JEPA 2-AC）**：**冻结**阶段一编码器，只在 <62 小时的无标注机器人视频（Droid）上训练一个**新的、动作条件的预测器**。
|
||||
|
||||
这种解耦的好处：把"昂贵但稀缺"的真机数据只用在很小的预测器上，把"廉价且海量"的网络视频用在大编码器上——这正是它能用极少机器人数据做零样本规划的根因。
|
||||
|
||||
---
|
||||
|
||||
## 三、阶段一：动作无关自监督预训练
|
||||
|
||||
### 3.1 数据 —— VideoMix22M (VM22M)
|
||||
|
||||
- 规模：**超过 100 万小时**互联网视频 + 约 100 万张图像。
|
||||
- 视频条数从 V-JEPA（一代）的约 200 万条扩大到 **2200 万条**。
|
||||
- 组成：SSv2、Kinetics、HowTo100M、ImageNet，叠加一个经过筛选的 YT-Temporal-1B 子集。
|
||||
- 数据扩量是后面所有性能提升的基础"燃料"。
|
||||
|
||||
### 3.2 输入 tokenization 与 3D-RoPE
|
||||
|
||||
- 视频切成 **tubelet（时空管元）**，尺寸 `2 × 16 × 16`（T × H × W），即每 2 帧 × 16×16 像素打成一个 token。
|
||||
- 位置编码采用 **3D-RoPE（三维旋转位置编码）**：把特征维度近似三等分，分别对应**时间 / 高 / 宽**三个轴，各自施加 1D 旋转。
|
||||
- 动机是**大模型训练稳定性**：论文发现在十亿参数规模下，用 3D-RoPE 取代绝对 sincos 位置编码能显著稳住训练。这是 scaling 到 ViT-g 的关键一招。
|
||||
|
||||
### 3.3 编码器：ViT-g（>1B）
|
||||
|
||||
- 从 V-JEPA 的 **ViT-L（约 300M）** 扩到 **ViT-g（>1B）**。
|
||||
- ViT-g 的隐藏维度 `embed_dim = 1408`（这一点在代码里直接可见，见 §4.3）。
|
||||
- 编码器承担"把视频/图像编码成语义表示"的全部重活。
|
||||
|
||||
### 3.4 预测器：刻意做小
|
||||
|
||||
- 阶段一的预测器是一个**轻量 Transformer**：约 **12 层、宽度 384、约 22M 参数**（ViT-S 量级）。
|
||||
- 设计意图：预测器只负责"在表示空间里补全被掩码区域"，不需要很大；把容量集中给编码器。
|
||||
|
||||
### 3.5 掩码策略
|
||||
|
||||
- **Multi-block 时空掩码**：混合短程与长程块，整体**掩码率逼近 90%**。
|
||||
- 空间尺度 0.15–0.7，时间维掩码率 ≈ 1.0（即被选中的空间区域在整段时间上都被遮）。
|
||||
- **损失只在被掩码 patch 的预测上计算**——逼模型真正去"想象"看不见的部分，而不是抄可见区域。
|
||||
|
||||
### 3.6 四支柱 Scaling 策略（论文最实用的工程经验）
|
||||
|
||||
V-JEPA 2 把"如何把 V-JEPA 放大"拆成四条同时发力的轴：
|
||||
|
||||
| 支柱 | 一代 V-JEPA | V-JEPA 2 |
|
||||
|------|------------|----------|
|
||||
| **数据** | ~2M 视频 | ~22M 视频（VM22M，>1M 小时） |
|
||||
| **模型** | ViT-L 300M | ViT-g >1B（+3D-RoPE 稳定） |
|
||||
| **分辨率/时长** | 固定 | **渐进式分辨率**（progressive resolution） |
|
||||
| **训练时长** | 90k 迭代 | **252k 迭代**（warmup-constant-decay） |
|
||||
|
||||
其中**渐进式分辨率训练**最值得单独说：
|
||||
|
||||
- 训练大部分时间跑在**低分辨率、短时长**（16 帧 @256×256）的 warmup/constant 阶段；
|
||||
- 仅在末尾 cooldown 阶段切到**高分辨率、长时长**（64 帧 @384×384）。
|
||||
- 相比全程高分辨率，**最高约 8.4× 加速**，同时几乎不损失（甚至提升）性能。
|
||||
|
||||
综合这四支柱，冻结编码器在 6 个运动/外观分类任务（SSv2、Diving-48、Jester、Kinetics、COIN、ImageNet）上取得 **88.2% 平均准确率**。
|
||||
|
||||
---
|
||||
|
||||
## 四、代码剖析：官方仓库 + HuggingFace 集成
|
||||
|
||||
> 官方仓库：`facebookresearch/vjepa2`（"PyTorch code and models for VJEPA2 self-supervised learning from video"）。本节路径/类名均来自官方仓库与 HF `transformers` 文档；建议在本地 `git clone` 后对照阅读。
|
||||
|
||||
### 4.1 顶层目录结构
|
||||
|
||||
```
|
||||
vjepa2/
|
||||
├── app/ # 训练 loop（按用途分子目录）
|
||||
│ ├── vjepa/ # V-JEPA 2 预训练
|
||||
│ ├── vjepa_2_1/ # V-JEPA 2.1 预训练（后续版本）
|
||||
│ ├── vjepa_droid/ # 动作条件模型(V-JEPA 2-AC)训练，train.py
|
||||
│ ├── main.py # 本地启动入口
|
||||
│ └── main_distributed.py # SLURM 集群启动入口
|
||||
├── configs/ # 全部实验超参（YAML）
|
||||
│ ├── train/ # 预训练 phase1 + cooldown phase2 + 动作条件
|
||||
│ ├── train_2_1/ # V-JEPA 2.1
|
||||
│ └── eval/ (含 inference/) # 冻结评测 / 仅推理
|
||||
├── evals/ # 基于冻结骨干的 attentive probe 评测
|
||||
│ ├── video_classification_frozen/
|
||||
│ ├── image_classification_frozen/
|
||||
│ ├── action_anticipation_frozen/ # 动作预判 eval.py
|
||||
│ ├── main.py / main_distributed.py
|
||||
├── src/ # 核心包
|
||||
│ ├── datasets/ # 数据集与 data loader
|
||||
│ └── models/ # 模型定义（编码器 + probe）
|
||||
└── notebooks/
|
||||
└── vjepa2_demo.ipynb # 最小可跑 demo
|
||||
```
|
||||
|
||||
设计上职责清晰：`app/` 放训练循环、`evals/` 放探针评测、`src/` 放核心模型、`configs/` 放所有超参。
|
||||
|
||||
### 4.2 编码器入口：`src/models/vision_transformer.py`
|
||||
|
||||
demo 里加载 ViT-g 编码器的关键调用：
|
||||
|
||||
```python
|
||||
from src.models.vision_transformer import vit_giant_xformers_rope
|
||||
# 函数名直接揭示三件事：
|
||||
# giant -> ViT-g（十亿级）
|
||||
# xformers -> 用 xFormers 做高效注意力
|
||||
# rope -> 使用（3D）RoPE 位置编码
|
||||
```
|
||||
|
||||
### 4.3 注意力探针：`src/models/attentive_pooler.py`
|
||||
|
||||
冻结评测不是简单的线性探针，而是一个 **4 层注意力探针（attentive probe）**：
|
||||
|
||||
```python
|
||||
from src.models.attentive_pooler import AttentiveClassifier
|
||||
|
||||
# 以 Something-Something v2 为例（174 类）
|
||||
classifier = AttentiveClassifier(
|
||||
embed_dim=1408, # 对应 ViT-g 的隐藏维度
|
||||
num_heads=16,
|
||||
depth=4, # 4 个 transformer block
|
||||
num_classes=174,
|
||||
).cuda().eval()
|
||||
# 权重从 checkpoint 的 ["classifiers"][0] 取
|
||||
```
|
||||
|
||||
探针结构要点：4 个 transformer block，**最后一个 block 用 cross-attention + 一个可学习 query token** 取代标准 self-attention，把整段视频 token 聚合成分类特征。推理时从一段视频里采多个 clip，logits 跨 clip 取平均。
|
||||
|
||||
### 4.4 训练与评测的运行方式
|
||||
|
||||
```bash
|
||||
# 本地预训练（ViT-L 配置示例）
|
||||
python -m app.main \
|
||||
--fname configs/train/vitl16/pretrain-256px-16f.yaml --devices cuda:0
|
||||
|
||||
# SLURM 分布式
|
||||
python -m app.main_distributed \
|
||||
--fname configs/train/vitl16/pretrain-256px-16f.yaml \
|
||||
--time 6000 --account my_account --qos my_qos
|
||||
```
|
||||
|
||||
- **预训练 phase1 与 cooldown phase2 用同一条命令、不同 config**（cooldown / 动作条件的 config 与初始训练放在同一目录）。
|
||||
- 动作条件模型走 `app/vjepa_droid/train.py`，用 teacher-forcing + 自回归 rollout 双目标。
|
||||
- 评测：在冻结骨干上训 attentive probe；官方放出了 SSv2、Diving48 和 EK-100 三个任务的探针 checkpoint（`wget .../vjepa2/evals/ssv2-vitg-384-64x2x3.pt`），可直接跑 `configs/inference/` 做推理。
|
||||
|
||||
### 4.5 HuggingFace `transformers` 集成（最易上手的路径）
|
||||
|
||||
`transformers` 已原生支持 V-JEPA 2（`VJEPA2Model` / `VJEPA2ForVideoClassification` / `VJEPA2Config`）。
|
||||
|
||||
**(a) 抽取视频特征：**
|
||||
|
||||
```python
|
||||
from transformers import AutoVideoProcessor, AutoModel
|
||||
|
||||
hf_repo = "facebook/vjepa2-vitl-fpc64-256" # fpc64 = 64 帧/clip
|
||||
model = AutoModel.from_pretrained(hf_repo)
|
||||
processor = AutoVideoProcessor.from_pretrained(hf_repo)
|
||||
|
||||
# 采 64 帧（要与模型的 fpc 对齐），过 processor，再前向
|
||||
video = processor(frames, return_tensors="pt")
|
||||
with torch.no_grad():
|
||||
embeds = model.get_vision_features(**video)
|
||||
```
|
||||
|
||||
完整前向 `outputs = model(**video)` 会同时给出：
|
||||
- `outputs.last_hidden_state` —— 编码器输出（等价 `get_vision_features()`）；
|
||||
- `outputs.predictor_output.last_hidden_state` —— 预测器输出。
|
||||
|
||||
**(b) 视频分类（SSv2 微调版）：**
|
||||
|
||||
```python
|
||||
from transformers import AutoVideoProcessor, AutoModelForVideoClassification
|
||||
|
||||
hf_repo = "facebook/vjepa2-vitl-fpc16-256-ssv2"
|
||||
model = AutoModelForVideoClassification.from_pretrained(hf_repo).to("cuda").eval()
|
||||
processor = AutoVideoProcessor.from_pretrained(hf_repo)
|
||||
# 输入 pixel_values_videos: [B, T, C, H, W]；分类头 = attentive pooler 上接一个线性层
|
||||
```
|
||||
|
||||
**关键超参 `NUM_FRAMES`**：必须匹配 checkpoint——`fpc64` 用 64 帧，`fpc16` 用 16 帧。单图嵌入则把一帧 `repeat` 成 16/64 帧再喂进去。
|
||||
|
||||
**可用预训练权重**（编码器）：`facebook/vjepa2-vitl-fpc64-256`、`-vith-fpc64-256`、`-vitg-fpc64-256`、`-vitg-fpc64-384`；分类微调版：`-vitl-fpc16-256-ssv2`、`-vitg-fpc64-384-ssv2`。
|
||||
|
||||
---
|
||||
|
||||
## 五、理解与预测能力：评测数字
|
||||
|
||||
### 5.1 冻结探针（运动 / 外观理解）
|
||||
|
||||
- **6 任务平均 88.2%**（SSv2 / Diving-48 / Jester / Kinetics / COIN / ImageNet）。
|
||||
- **Something-Something v2：77.3 top-1**（运动理解的硬骨头，强调时序因果而非静态外观）。
|
||||
- 协议：冻结编码器，只训 4 层 attentive probe（§4.3）。
|
||||
|
||||
### 5.2 动作预判（Anticipation）
|
||||
|
||||
- **Epic-Kitchens-100：39.7 recall@5**，超过此前专用模型。这是"预测人接下来要做什么动作"的 SOTA。
|
||||
|
||||
### 5.3 视频问答（对齐 LLM 后）
|
||||
|
||||
把 V-JEPA 2 编码器作为视觉编码器对齐到一个 LLM（8B 规模），在多项 VideoQA 上 SOTA：
|
||||
|
||||
- **PerceptionTest：84.0**
|
||||
- **TempCompass：76.9**
|
||||
- 一个值得注意的发现：即便 V-JEPA 2 预训练时**没有任何语言监督**，对齐后的 VideoQA 表现依然很强——说明纯视频自监督学到的表示对语言对齐是友好的。
|
||||
|
||||
---
|
||||
|
||||
## 六、阶段二：V-JEPA 2-AC 动作条件世界模型
|
||||
|
||||
### 6.1 架构与"块因果"注意力
|
||||
|
||||
- 一个 **约 300M 参数** 的 Transformer 预测器 `P_φ`：**24 层、16 头、隐藏 1024、GELU**。
|
||||
- 训练时**冻结**阶段一的 ViT-g 编码器，只学这个新预测器。
|
||||
- 核心机制 **block-causal attention（块因果注意力）**：在某个时间步上，每个 patch 特征可以注意到——**同一时间步的动作、末端执行器状态（end-effector state）、其他 patch**，以及**所有更早时间步**的对应内容；但不能看未来。由此自回归地预测"下一帧的表示"。
|
||||
- 位置编码：视频 patch 用 3D-RoPE，动作与位姿用**时间维 RoPE**，再叠加块因果掩码刻画时间上的因果依赖。
|
||||
|
||||
### 6.2 训练数据与目标
|
||||
|
||||
- 数据：**Droid** 数据集的无标注机器人视频，**< 62 小时 / 约 23k 条轨迹**（含成功与失败，来自遥操作的 Franka Emika Panda）。
|
||||
- 目标：**teacher-forcing 损失**（预测下一帧表示）+ **rollout 损失**（多步自回归预测）联合优化。后者是让模型在"想象多步未来"时不漂移的关键。
|
||||
|
||||
### 6.3 规划：MPC + 交叉熵法（CEM）
|
||||
|
||||
V-JEPA 2-AC **不学固定策略**，而是把预测器当世界模型，在**模型预测控制（MPC）**回路里在线优化动作：
|
||||
|
||||
```
|
||||
给定当前观测 x_k 与目标图像 x_g：
|
||||
1. 编码：x_k, x_g ──► 表示空间
|
||||
2. 对候选动作序列 a_{k:k+T}，用预测器想象未来状态 ẑ
|
||||
3. 能量函数 E = || ẑ_future − z_goal ||_1 （latent 空间 L1 距离）
|
||||
4. 用交叉熵法(CEM)采样-评估-更新，找使 E 最小的动作序列
|
||||
5. 只执行第一个动作，然后重新规划（receding horizon，滚动时域）
|
||||
```
|
||||
|
||||
实现细节：
|
||||
- **能量 = 想象未来表示与目标表示在 latent 空间的 L1 距离**（goal-conditioned energy function）。论文报告该能量地形**平滑且局部凸**，因此 CEM 能高效收敛。
|
||||
- 动作被约束在 **L1 球、半径 0.075** 内（约对应末端执行器单步位移 ≤ 13 cm），因为大动作对模型而言偏离分布。
|
||||
- 多阶段任务（pick-and-place）用**多子目标**：先对"抓住"子目标优化 4 步 → 切到"举起"子目标 10 步 → 最后"放置"子目标 4 步。
|
||||
|
||||
### 6.4 机器人实验结果（零样本、跨实验室）
|
||||
|
||||
部署条件极具挑战：同一套权重与推理代码，部署到**两个不同实验室**、**Droid 里没出现过**的 Franka + RobotiQ 夹爪，仅靠一个**未标定的低分辨率单目 RGB 相机**，**无奖励、无任务特定数据**。
|
||||
|
||||
| 任务 | V-JEPA 2-AC | 对比基线 |
|
||||
|------|-------------|----------|
|
||||
| Reach（到达目标位姿，无物体） | **100%** | Cosmos: 80% |
|
||||
| Grasp（抓杯/盒） | 65%（杯）/ 25%（盒），均值 65% | Octo: 15%；Cosmos: 0–30% |
|
||||
| Reach w/ Object（持物到位） | 75%（杯）/ 75%（盒） | — |
|
||||
| Pick-and-Place（取放，多阶段） | 80%（杯）/ 65%（盒） | — |
|
||||
| **单步规划耗时** | **~16 秒/动作** | Cosmos: ~4 分钟/动作 |
|
||||
|
||||
- 单目标到达可把位置误差**稳定压到 4 cm 以内**。
|
||||
- 两个对比基线都被"降维打击"：**Octo**（行为克隆 VLA，且在 100 万+ 轨迹的 Open-X 上预训练、又在整个 Droid 上微调，数据量远超 V-JEPA 2-AC）物体交互均值仅 ~15%；**Cosmos**（扩散式视频生成世界模型，用同样的能量规划框架）reach 还行（80%）但物体交互很弱，且**单步规划要 4 分钟**——一次完整取放要超过 1 小时机器人执行时间。
|
||||
- 核心结论：**把"学观测"与"学动作条件"解耦**，让大编码器吃海量被动视频、小预测器吃少量真机数据，就能换来零样本可迁移的规划能力。
|
||||
|
||||
---
|
||||
|
||||
## 七、局限与后续方向
|
||||
|
||||
论文与社区讨论中提到的主要局限：
|
||||
|
||||
- **目标图像依赖**：规划需要"目标图像"来定义能量，长程或语言指定的目标还不够自然（后续 TC-JEPA 这类文本条件方向正是补这一块）。
|
||||
- **相机/视角敏感**：对相机位置较敏感，长时域规划仍可能漂移。
|
||||
- **空间任务为主**：当前机器人评测集中在桌面抓取/取放等准静态任务。
|
||||
|
||||
后续演进（仅作指路，细节以各自原始来源为准）：
|
||||
|
||||
- **V-JEPA 2.1**：官方仓库已含 `app/vjepa_2_1/` 与 `configs/train_2_1/`，社区报道其主打"解锁稠密特征（dense features）"，是 V-JEPA 2 的升级版。
|
||||
- **JEPA 世界模型规划研究**：`facebookresearch/jepa-wms`（"What drives success in physical planning with JEPA World Models?"）。
|
||||
- **物理推理新基准**：Meta 随 V-JEPA 2 发布了 IntPhys 2 / MVPBench / CausalVQA 等物理常识评测，用于衡量世界模型的"直觉物理"。
|
||||
|
||||
> 上述 2026 年的后续工作请以各自论文/仓库的一手来源核实再引用，本文不对其细节数字背书。
|
||||
|
||||
---
|
||||
|
||||
## 八、与本项目（world model / 具身智能）的对接
|
||||
|
||||
结合 [JEPA 系列综述](index.md) 中已记录的关联，V-JEPA 2 对你正在做的方向有几处直接可借鉴：
|
||||
|
||||
1. **两阶段解耦的工程范式**：大编码器吃海量被动数据、小预测器吃少量交互数据——这套"廉价感知 + 稀缺动作"的配比，对任何"先建感知再加控制"的具身系统都成立。
|
||||
2. **latent 能量规划（MPC + CEM）**：用"想象未来表示与目标表示的 L1 距离"作能量、滚动时域优化动作，是一个**不需要奖励、不需要策略网络**的轻量规划骨架，适合作为 imagination-based planning 的基线实现。
|
||||
3. **渐进式分辨率训练**：若你也要 scaling 视频/多感官编码器，这条 8.4× 提速的 recipe 很值钱。
|
||||
4. **冻结骨干 + 注意力探针**：作为下游任务（分类/检索/对齐 LLM）的标准评测协议，便于公平比较表征质量。
|
||||
|
||||
> 提示：要做"语言指定目标"的规划，V-JEPA 2 原生的"目标图像"接口需要替换为文本条件能量——这正是文本条件 JEPA 路线要解决的缺口。
|
||||
|
||||
---
|
||||
|
||||
## 九、参考与资源
|
||||
|
||||
**论文 / 官方**
|
||||
- V-JEPA 2 论文：arXiv:2506.09985（"Self-Supervised Video Models Enable Understanding, Prediction and Planning"，FAIR @ Meta + Mila）
|
||||
- Meta 官方介绍：ai.meta.com/research/vjepa/ 与 ai.meta.com/blog/v-jepa-2-world-model-benchmarks/
|
||||
- 官方代码：github.com/facebookresearch/vjepa2（demo: `notebooks/vjepa2_demo.ipynb`）
|
||||
- HuggingFace 文档：huggingface.co/docs/transformers/en/model_doc/vjepa2
|
||||
- 权重：huggingface.co/facebook（vjepa2-vit{l,h,g}-fpc64-* 及 ssv2 微调版）
|
||||
|
||||
**关键数字速查**
|
||||
- 编码器 ViT-g >1B（隐藏维 1408）；预训练预测器 ~22M（12 层/384）；AC 预测器 ~300M（24 层/16 头/1024）
|
||||
- tubelet 2×16×16；3D-RoPE；掩码率 ~90%；训练 90k→252k 迭代；渐进分辨率 8.4× 提速
|
||||
- 数据：VM22M（22M 视频，>1M 小时）+ 1M 图像；AC 数据 Droid <62h / ~23k 轨迹
|
||||
- SSv2 77.3；EK-100 39.7 R@5；6 任务均值 88.2%；PerceptionTest 84.0；TempCompass 76.9
|
||||
- 机器人：Reach 100% / Grasp 65% / Pick-place 80%(杯)；16 s/动作 vs Cosmos 4 min/动作
|
||||
@@ -0,0 +1,542 @@
|
||||
---
|
||||
title: "V-JEPA 2 源码逐模块剖析（代码篇）"
|
||||
date: 2026-05-24
|
||||
draft: false
|
||||
tags: ["V-JEPA 2", "JEPA", "源码", "code-walkthrough", "self-supervised", "RoPE", "masking", "world-model", "robotics"]
|
||||
categories: ["JEPA"]
|
||||
description: "基于 facebookresearch/vjepa2 本地源码的逐模块剖析：multi-block tube 掩码采样、编码器(3D-RoPE/apply_masks)、动作无关预测器、V-JEPA 2-AC 块因果预测器，以及自监督训练全链路闭环。是《V-JEPA 2 深度技术剖析》的代码篇配套。"
|
||||
---
|
||||
|
||||
> 本文是 [《V-JEPA 2 深度技术剖析》](V-JEPA2深度技术剖析.md) 的**代码篇配套**，全部基于本地 clone 的官方仓库 `facebookresearch/vjepa2`（MIT License）逐行阅读整理。行号与文件路径以仓库 `main` 分支为准，升级版本可能略有变动。
|
||||
>
|
||||
> 阅读主线（数据流顺序）：**掩码采样 → 编码器 → 动作无关预测器 → AC 预测器 → 训练闭环**。
|
||||
|
||||
---
|
||||
|
||||
## 〇、文件地图与真实配置速查
|
||||
|
||||
| 模块 | 文件 | 关键类/函数 |
|
||||
|------|------|-------------|
|
||||
| 掩码采样 | `src/masks/multiseq_multiblock3d.py` | `MaskCollator` / `_MaskGenerator` |
|
||||
| 取 token 工具 | `src/masks/utils.py` | `apply_masks` |
|
||||
| 编码器 | `src/models/vision_transformer.py` | `VisionTransformer` / `vit_giant_xformers_rope` |
|
||||
| tubelet 切分 | `src/models/utils/patch_embed.py` | `PatchEmbed3D` |
|
||||
| 注意力 / RoPE | `src/models/utils/modules.py` | `RoPEAttention` / `ACRoPEAttention` / `rotate_queries_or_keys` / `build_action_block_causal_attention_mask` |
|
||||
| 动作无关预测器 | `src/models/predictor.py` | `VisionTransformerPredictor` |
|
||||
| AC 预测器 | `src/models/ac_predictor.py` | `VisionTransformerPredictorAC` |
|
||||
| 预训练循环 | `app/vjepa/train.py` | `train_step` / `forward_context` / `forward_target` / `loss_fn` |
|
||||
| AC 训练循环 | `app/vjepa_droid/train.py` | teacher-forcing + rollout |
|
||||
| AC 推理/规划桥接 | `notebooks/utils/world_model_wrapper.py` | `WorldModel`（encode / infer_next_action） |
|
||||
| CEM + 能量函数 | `notebooks/utils/mpc_utils.py` | `cem` / `l1` / `compute_new_pose` |
|
||||
|
||||
**编码器 ViT-g**（`vit_giant_xformers_rope`）：`embed_dim=1408, depth=40, num_heads=22, mlp_ratio=48/11, use_rope=True`。
|
||||
|
||||
**动作无关预测器**（`pretrain-256px-16f.yaml`）：`pred_embed_dim=384, pred_depth=12, pred_num_heads=12, use_mask_tokens=True`（≈22M，刻意做小）。
|
||||
|
||||
**AC 预测器**（`configs/train/vitg16/droid-256px-8f.yaml`）：`pred_embed_dim=1024, pred_depth=24, pred_num_heads=16, pred_is_frame_causal=True, use_extrinsics=False, use_rope=True`（≈300M）；`context_encoder_key=target_encoder`（直接拿 EMA target encoder 当冻结编码器）。
|
||||
|
||||
**掩码**（`pretrain-256px-16f.yaml`，两套并行）：
|
||||
|
||||
```yaml
|
||||
mask:
|
||||
- num_blocks: 8 # 短程：8 个小块
|
||||
spatial_scale: [0.15, 0.15] # 每块覆盖 15% 空间
|
||||
temporal_scale: [1.0, 1.0] # 时间贯穿整段（tube）
|
||||
aspect_ratio: [0.75, 1.5]
|
||||
- num_blocks: 2 # 长程：2 个大块
|
||||
spatial_scale: [0.7, 0.7]
|
||||
temporal_scale: [1.0, 1.0]
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 一、掩码采样：`multiseq_multiblock3d.py`
|
||||
|
||||
整条 JEPA 管线的起点。`masks_enc`（上下文下标）/ `masks_pred`（目标下标）都在这里生产。
|
||||
|
||||
### 1.1 两层结构：调度 vs 采样
|
||||
|
||||
`MaskCollator` 是 DataLoader 的 `collate_fn`，本身不采样，只负责调度：按 frames-per-clip(fpc) 分桶（不同帧数 token 网格大小不同，不能混），再对每套掩码配置各调一次生成器：
|
||||
|
||||
```python
|
||||
for i, mask_generator in enumerate(self.mask_generators[fpc]):
|
||||
masks_enc, masks_pred = mask_generator(batch_size)
|
||||
collated_masks_enc.append(masks_enc)
|
||||
collated_masks_pred.append(masks_pred)
|
||||
```
|
||||
|
||||
所以 `masks_enc` / `masks_pred` 是 **list**（每套配置一项）——这解释了编码器里 `for m in masks:` 和 `torch.cat(masks, dim=0)` 为什么要遍历。
|
||||
|
||||
### 1.2 种子心机：块"大小"同步，块"位置"随机
|
||||
|
||||
```python
|
||||
seed = self.step() # 跨 worker 共享计数器
|
||||
g = torch.Generator(); g.manual_seed(seed)
|
||||
p_size = self._sample_block_size(generator=g, ...) # 用种子 → 块大小确定
|
||||
```
|
||||
|
||||
块**尺寸 (t,h,w) 用种子采样**，保证所有数据并行 worker/GPU 采到相同大小（token 序列等长，可凑规整 batch）；块**位置**用不带种子的 `torch.randint`，每个样本各自随机。同步大小 + 随机位置 = 既能 batch 又有多样性。
|
||||
|
||||
### 1.3 一个块怎么采
|
||||
|
||||
定大小（scale + 长宽比反解）：
|
||||
|
||||
```python
|
||||
t = max(1, int(self.duration * temporal_mask_scale)) # temporal_scale=1.0 → t=duration（贯穿全部帧）
|
||||
spatial_num_keep = int(self.height * self.width * spatial_mask_scale)
|
||||
h = round(sqrt(spatial_num_keep * aspect_ratio))
|
||||
w = round(sqrt(spatial_num_keep / aspect_ratio))
|
||||
```
|
||||
|
||||
`temporal_scale=1.0` ⇒ `t=duration`，块在时间上**贯穿整段** = 一根"时空管(tube)"。这是要点：把同一空间位置在所有帧上一起遮掉，**模型无法靠抄相邻帧作弊，只能真正学运动**。
|
||||
|
||||
定位置并标 0（`0=待预测，1=上下文`）：
|
||||
|
||||
```python
|
||||
mask = torch.ones((duration, height, width))
|
||||
mask[start:start+t, top:top+h, left:left+w] = 0
|
||||
```
|
||||
|
||||
### 1.4 多块取并集，切出两组下标
|
||||
|
||||
```python
|
||||
mask_e = torch.ones((duration, height, width))
|
||||
for _ in range(self.npred): # npred = num_blocks，如 8
|
||||
mask_e *= self._sample_block_mask(p_size) # 连乘 = 并集
|
||||
mask_e = mask_e.flatten()
|
||||
|
||||
mask_p = torch.argwhere(mask_e == 0).squeeze() # 目标(被遮)下标
|
||||
mask_e = torch.nonzero(mask_e).squeeze() # 上下文(保留)下标
|
||||
```
|
||||
|
||||
`mask_e *= block` 连乘是精髓：patch 只有**落在所有块之外**才保持 1，落进任意块就被乘成 0。`npred` 个块取**并集**，两套配置(8×15% + 2×70%)叠加后被遮区逼近 ~90%。`argwhere(==0)` 出目标下标、`nonzero` 出上下文下标，二者是同一 token 网格上互补的索引集合。
|
||||
|
||||
`empty_context` while 守卫：若某次把所有 patch 都遮了就重采，保证编码器有输入。
|
||||
|
||||
### 1.5 截断到 min_keep（为了 stack）
|
||||
|
||||
每样本被遮数不同 → 下标长度不齐 → 没法堆张量。于是全 batch 取最短并截断：
|
||||
|
||||
```python
|
||||
collated_masks_enc = [cm[:min_keep_enc] for cm in collated_masks_enc]
|
||||
collated_masks_pred = [cm[:min_keep_pred] for cm in collated_masks_pred]
|
||||
collated_masks_enc = torch.utils.data.default_collate(collated_masks_enc)
|
||||
```
|
||||
|
||||
这就是 `apply_masks` 拿到的 `masks` 为规整 `[B, K]` 张量的原因。
|
||||
|
||||
### 1.6 几个开关
|
||||
|
||||
- `full_complement`：预测掩码 = 编码掩码的精确补集（集合差）。
|
||||
- `pred_full_complement`：反向，编码掩码 = 预测掩码补集。
|
||||
- `inv_block`：交换返回 `return masks_pred, masks_enc`（用块预测上下文的反向任务）。默认 `return masks_enc, masks_pred`。
|
||||
|
||||
---
|
||||
|
||||
## 二、取 token 工具：`apply_masks`（`src/masks/utils.py`）
|
||||
|
||||
```python
|
||||
def apply_masks(x, masks, concat=True):
|
||||
# x: [B, N, D]; masks: list of [B, K] 下标
|
||||
all_x = []
|
||||
for m in masks:
|
||||
mask_keep = m.unsqueeze(-1).repeat(1, 1, x.size(-1)) # [B, K, D]
|
||||
all_x += [torch.gather(x, dim=1, index=mask_keep)] # 按下标取 token
|
||||
return torch.cat(all_x, dim=0)
|
||||
```
|
||||
|
||||
核心是 `torch.gather`：沿 token 维按下标取出需要的 token。多块掩码沿 batch 维(dim=0)堆叠，相当于把一个样本的多种掩码当成更大 batch 一起算。
|
||||
|
||||
---
|
||||
|
||||
## 三、编码器：`VisionTransformer.forward`（`vision_transformer.py:161`）
|
||||
|
||||
> 关键认知：代码里**没有"裁一块图"**。整段视频先切成全部 token，再用下标 `gather` 出上下文 token。被遮 token 不是置零，而是**直接删除、不参与计算**。
|
||||
|
||||
```python
|
||||
def forward(self, x, masks=None):
|
||||
# (a) 切 token：3D 卷积；use_rope 时不加绝对位置
|
||||
if not self.use_rope:
|
||||
pos_embed = self.interpolate_pos_encoding(x, self.pos_embed)
|
||||
x = self.patch_embed(x); x += pos_embed
|
||||
else:
|
||||
x = self.patch_embed(x) # ViT-g 走这条
|
||||
|
||||
# (b) 挑出上下文 token
|
||||
if masks is not None:
|
||||
x = apply_masks(x, masks) # 丢掉被遮 token
|
||||
masks = torch.cat(masks, dim=0) # 下标继续往下传（给 RoPE 还原位置）
|
||||
|
||||
# (c) Transformer 编码
|
||||
for blk in self.blocks:
|
||||
x = blk(x, mask=masks, attn_mask=None, T=T, H_patches=H_patches, W_patches=W_patches)
|
||||
x = self.norm(x)
|
||||
return x
|
||||
```
|
||||
|
||||
`apply_masks` 在 tokenize 之后、进 Transformer 之前 → ~90% token 在进注意力前就丢了，这是高掩码率下省算力的根因。
|
||||
|
||||
### 3.1 tubelet 切分：`PatchEmbed3D`
|
||||
|
||||
```python
|
||||
self.proj = nn.Conv3d(
|
||||
in_channels=3, out_channels=embed_dim,
|
||||
kernel_size=(tubelet_size, patch_size, patch_size), # (2, 16, 16)
|
||||
stride=(tubelet_size, patch_size, patch_size), # 不重叠
|
||||
)
|
||||
def forward(self, x): # x: [B, C, T, H, W]
|
||||
return self.proj(x).flatten(2).transpose(1, 2) # -> [B, N, embed_dim]
|
||||
```
|
||||
|
||||
一个 `2×16×16` 时空管元 → 一个向量。
|
||||
|
||||
### 3.2 删了 token，位置靠"下标"续命：`RoPEAttention`（`modules.py:266`）
|
||||
|
||||
token 被删一大半、顺序也乱，模型怎么知道每个上下文块原来的位置？答案在传下来的下标：
|
||||
|
||||
```python
|
||||
if mask is not None:
|
||||
mask = mask.unsqueeze(1).repeat(1, self.num_heads, 1)
|
||||
d_mask, h_mask, w_mask = self.separate_positions(mask, H_patches, W_patches)
|
||||
```
|
||||
|
||||
`separate_positions` 把一维下标反解成 (帧, 高, 宽) 三个坐标：
|
||||
|
||||
```python
|
||||
frame_ids = ids // tokens_per_frame
|
||||
height_ids = (ids - 帧分量) // tokens_per_row
|
||||
width_ids = ids - 帧分量 - 高分量
|
||||
```
|
||||
|
||||
再把每个 head 的特征维三等分，按 t/h/w 各自旋转：
|
||||
|
||||
```python
|
||||
qd = rotate_queries_or_keys(q[..., s:s+self.d_dim], pos=d_mask) # 时间
|
||||
qh = rotate_queries_or_keys(q[..., s:s+self.h_dim], pos=h_mask) # 高
|
||||
qw = rotate_queries_or_keys(q[..., s:s+self.w_dim], pos=w_mask) # 宽
|
||||
q = torch.cat([qd, qh, qw, qr], dim=-1) # qr 是不旋转的余数维
|
||||
```
|
||||
|
||||
**要点：位置不靠 token 在序列里的顺序，而靠它的原始下标算出来**——所以哪怕 token 删得七零八落，每个块仍带着真实 (t,h,w)。
|
||||
|
||||
### 3.3 RoPE 旋转真身 + 一个官方标注的 bug：`rotate_queries_or_keys`（`modules.py:26`）
|
||||
|
||||
```python
|
||||
def rotate_queries_or_keys(x, pos):
|
||||
B, num_heads, N, D = x.size()
|
||||
omega = torch.arange(D // 2) / (D / 2.0)
|
||||
omega = 1.0 / 10000**omega # 角速度 ω_i
|
||||
freq = torch.einsum("..., f -> ... f", pos, omega) # 角度 = 位置 × ω
|
||||
emb_sin, emb_cos = freq.sin(), freq.cos()
|
||||
|
||||
# ↓↓↓ 官方注释：这里有个 subtle bug，频率在配对维上被错误复制
|
||||
emb_sin = emb_sin.squeeze(-1).repeat(1, 1, 1, 2) # 实际用的（有 bug）
|
||||
emb_cos = emb_cos.squeeze(-1).repeat(1, 1, 1, 2)
|
||||
# emb_sin = emb_sin.repeat_interleave(2, dim=-1) # 正确写法（被注释掉）
|
||||
# emb_cos = emb_cos.repeat_interleave(2, dim=-1)
|
||||
|
||||
y = x.unflatten(-1, (-1, 2))
|
||||
y1, y2 = y.unbind(dim=-1)
|
||||
y = torch.stack((-y2, y1), dim=-1).flatten(-2) # (y1,y2)->(-y2,y1)
|
||||
return (x * emb_cos) + (y * emb_sin)
|
||||
```
|
||||
|
||||
RoPE 思想：不是"加"位置向量，而是按位置把特征在每个二维平面里**旋转一个角度**；两 token 点积时旋转角之差只取决于**相对位置** → 天然编码相对距离、可外推到没见过的分辨率/长度（这正是论文用 3D-RoPE 稳住大模型 + 支持渐进分辨率的底层依据）。
|
||||
|
||||
**那个 bug 的工程教训**：标准 RoPE 频率应与相邻配对 `(y1,y2)` 用 `repeat_interleave(2)`（`[a,b,c]→[a,a,b,b,c,c]`）对齐；代码用了 `repeat(...,2)`（`[a,b,c]→[a,b,c,a,b,c]`），频率与配对维错位。官方明说：发布的预训练权重就是在这个"错"的实现上训出来的，**改对反而和 checkpoint 不兼容**，故保留原样、正确版注释旁边。加载官方权重做下游必须沿用 bug 版；只有从头自训才该切正确版。
|
||||
|
||||
---
|
||||
|
||||
## 四、动作无关预测器：`VisionTransformerPredictor.forward`（`predictor.py:174`）
|
||||
|
||||
任务：拿编码器给的上下文表示 `z_ctx`，在**目标位置**把表示补出来。
|
||||
|
||||
```python
|
||||
def forward(self, x, masks_x, masks_y, ...):
|
||||
# x: 上下文表示(z_ctx)；masks_x: 上下文下标；masks_y: 目标下标
|
||||
```
|
||||
|
||||
### 4.1 先降维（"预测器很轻"的代码证据）
|
||||
|
||||
```python
|
||||
x = self.predictor_embed(x) # Linear: 1408 -> 384
|
||||
```
|
||||
|
||||
进门就压到 384 维，整个预测器在窄空间算，算完再投影回去。
|
||||
|
||||
### 4.2 给目标位置造可学习占位符
|
||||
|
||||
```python
|
||||
pred_tokens = self.mask_tokens[mask_index] # 一个可学习 [MASK] 向量
|
||||
pred_tokens = pred_tokens.repeat(B, self.num_patches, 1)
|
||||
pred_tokens = apply_masks(pred_tokens, masks_y) # 只在目标位置放占位符
|
||||
```
|
||||
|
||||
目标位置**不喂内容**（内容正是要预测的），只放一个所有目标位置共享的可学习 mask token，信息全靠位置编码注入。
|
||||
|
||||
### 4.3 拼接 + 排序
|
||||
|
||||
```python
|
||||
x = torch.cat([x, pred_tokens], dim=1) # [上下文表示 | 目标占位符]
|
||||
masks = torch.cat([masks_x, masks_y], dim=1) # 每个 token 的原始下标
|
||||
argsort = torch.argsort(masks, dim=1) # 按原始位置排序
|
||||
x = ...[argsort]; masks = ...[argsort]
|
||||
```
|
||||
|
||||
拼起来的序列空间上是乱的，按原始下标排序恢复成 (t,h,w) 顺序，再把 `masks` 传进 `blk(x, mask=masks)` 让 RoPE 还原坐标。
|
||||
|
||||
### 4.4 过 Transformer，抠回目标、升回维
|
||||
|
||||
```python
|
||||
for blk in self.predictor_blocks:
|
||||
x = blk(x, mask=masks, attn_mask=None)
|
||||
x = self.predictor_norm(x)
|
||||
reverse_argsort = torch.argsort(argsort, dim=1)
|
||||
x = ...[reverse_argsort]; x = x[:, N_ctxt:] # 复原排序，只取目标位置
|
||||
x = self.predictor_proj(x) # Linear: 384 -> 1408
|
||||
return x # ẑ_tgt
|
||||
```
|
||||
|
||||
整条链路 **1408 → 压到 384 算 → 升回 1408** 就是"轻量预测器"的全部秘密。
|
||||
|
||||
---
|
||||
|
||||
## 五、AC 预测器：`VisionTransformerPredictorAC`（`ac_predictor.py`）
|
||||
|
||||
把"被遮 patch"换成"未来帧"，"mask token"换成"动作/状态 token + 块因果掩码"，复用同一套 latent 预测骨架做规划。
|
||||
|
||||
### 5.1 四个编码器：把"看的"和"做的"统一进 1024 维
|
||||
|
||||
```python
|
||||
self.predictor_embed = nn.Linear(embed_dim, 1024) # 1408 -> 1024（图像 patch）
|
||||
self.action_encoder = nn.Linear(action_embed_dim, 1024) # 7 -> 1024（动作）
|
||||
self.state_encoder = nn.Linear(action_embed_dim, 1024) # 7 -> 1024（末端位姿/本体感知）
|
||||
self.extrinsics_encoder = nn.Linear(action_embed_dim-1, 1024) # 6 -> 1024（相机外参，droid 关闭）
|
||||
```
|
||||
|
||||
`action_embed_dim=7`：Franka 动作/状态正好 7 维（末端 6-DoF 位姿增量 + 1 维夹爪）。动作/位姿各过一个线性层变成与 patch 同维的 token——这是"注入"的第一层含义。
|
||||
|
||||
### 5.2 注入方式：把动作/状态插进每帧开头
|
||||
|
||||
```python
|
||||
s = self.state_encoder(states).unsqueeze(2) # [B, T, 1, D]
|
||||
a = self.action_encoder(actions).unsqueeze(2) # [B, T, 1, D]
|
||||
x = x.view(B, T, H*W, D)
|
||||
x = torch.cat([a, s, x], dim=2).flatten(1, 2) # [B, T*(H*W+2), D]
|
||||
```
|
||||
|
||||
序列按帧分块：`[ a₁ s₁ p₁... | a₂ s₂ p₂... | ... ]`。`cond_tokens=2`（开 extrinsics 则 3）。这对应论文"每个 patch 能注意到同一时间步的动作、末端状态和其他 patch"。
|
||||
|
||||
### 5.3 块因果掩码：`build_action_block_causal_attention_mask`
|
||||
|
||||
```python
|
||||
def build_action_block_causal_attention_mask(T, H, W, add_tokens=1):
|
||||
N_T = add_tokens + (H * W) # 每帧 block 的 token 数
|
||||
mask = torch.zeros(T*N_T, T*N_T).bool()
|
||||
mask_block = torch.ones(N_T, N_T).bool() # 帧内：全连接
|
||||
local_window_time = T # 看全部历史
|
||||
for t1 in range(T):
|
||||
for t2 in range(max(0, t1 - local_window_time + 1), t1 + 1): # t2 <= t1
|
||||
mask[t1*N_T:(t1+1)*N_T, t2*N_T:(t2+1)*N_T] = mask_block
|
||||
return mask
|
||||
```
|
||||
|
||||
- `mask_block=ones`：**帧内部全连接**（同一时刻动作/状态/所有 patch 互看）。
|
||||
- `t2` 只到 `t1`：**只能 attend 过去帧，禁看未来**。
|
||||
- 即"**块**因果"：帧粒度因果、块内全连接（不希望同帧后一个 patch 看不到前一个，只希望整帧看不到下一帧）。
|
||||
- 布尔约定：直接喂 `F.scaled_dot_product_attention(attn_mask=mask)`，`True=允许 attend`。
|
||||
|
||||
**`is_causal` 怎么生效**：真正的因果性靠这个**显式 attn_mask** 实现，**不是** SDPA 的 `is_causal` flag（那是逐 token 下三角，对块结构是错的）。config 的 `pred_is_frame_causal: true` 控制的是"造不造并用这个块因果矩阵"（构造函数里 `if self.is_frame_causal: attn_mask = build_...`），而非把 SDPA 的 `is_causal` 设 True。
|
||||
|
||||
### 5.4 动作 token 与 patch 的 RoPE 不同（`ACRoPEAttention`）
|
||||
|
||||
```python
|
||||
# 动作/状态 token：只在时间维(depth)旋转，位置=帧号
|
||||
qd = rotate_queries_or_keys(q[..., :self.d_dim], pos=torch.arange(T))
|
||||
qr = q[..., self.d_dim:] # 其余维不旋转
|
||||
```
|
||||
|
||||
patch token 走完整 3D-RoPE。对应论文"动作和位姿用时间维 rotary，视频 patch 用 3D-RoPE"——动作没有空间行列，只有"第几帧"。另有分辨率归一化：`h_mask *= grid_size/H; w_mask *= grid_size/W`（换分辨率时位置编码一致）。
|
||||
|
||||
### 5.5 出口：只要 patch 预测
|
||||
|
||||
```python
|
||||
x = x.view(B, T, cond_tokens + H*W, D)
|
||||
x = x[:, :, cond_tokens:, :].flatten(1, 2) # 丢掉动作/状态 token
|
||||
x = self.predictor_norm(x)
|
||||
x = self.predictor_proj(x) # 1024 -> 1408
|
||||
return x
|
||||
```
|
||||
|
||||
动作/状态只是条件输入、不需预测；输出只取 patch、投影回 1408，得到"给定历史帧 + 当前动作，下一帧每个 patch 的预测表示"。
|
||||
|
||||
> 注：`ac_predictor.py` 里 `from src.models.utils.modules import ACBlock as Block`，块内部用的是 `ACBlock`（其 `forward` 接收 `action_tokens` 参数）。
|
||||
|
||||
---
|
||||
|
||||
## 六、预训练训练循环：`app/vjepa/train.py:424`
|
||||
|
||||
```python
|
||||
def forward_target(c):
|
||||
with torch.no_grad(): # stop-grad
|
||||
h = target_encoder(c) # 喂【完整视频】，不传 masks
|
||||
h = [F.layer_norm(hi, (hi.size(-1),)) for hi in h]
|
||||
return h
|
||||
|
||||
def forward_context(c):
|
||||
z = encoder(c, masks_enc) # 只看上下文 → z_ctx
|
||||
z = predictor(z, masks_enc, masks_pred) # 补目标位置 → ẑ_tgt
|
||||
return z
|
||||
|
||||
def loss_fn(z, h):
|
||||
h = [apply_masks(hi, mi, concat=False) for hi, mi in zip(h, masks_pred)] # 此处才取目标块
|
||||
loss = torch.mean(torch.abs(zij - hij) ** loss_exp) / loss_exp # loss_exp=1 → L1
|
||||
```
|
||||
|
||||
两条编码路径的对比是关键：
|
||||
|
||||
- **上下文分支**：`encoder(c, masks_enc)` —— 只看上下文、可训练。
|
||||
- **目标分支**：`target_encoder(c)` —— 看完整视频、是 encoder 的 **EMA 副本**、`no_grad`；直到 `loss_fn` 才用 `masks_pred` 抠出目标块当真值。
|
||||
|
||||
损失 `|z − h|`（`loss_exp=1` 即 L1），只在被遮 token 上算——与论文"表示空间 L1、仅在 masked patch"一致。EMA + stop-grad 即防坍塌机制。
|
||||
|
||||
---
|
||||
|
||||
## 七、AC 推理：CEM + 能量函数规划（`notebooks/utils/`）
|
||||
|
||||
> 定位提醒：`app/vjepa_droid/` 是**训练侧**；真正"跑起来"的规划在 `notebooks/utils/mpc_utils.py`（CEM）与 `world_model_wrapper.py`（桥接）。二者与训练侧的 rollout 是同一机制的"推理版/训练版"。
|
||||
|
||||
### 7.1 桥接层 `WorldModel`（`world_model_wrapper.py`）
|
||||
|
||||
把"编码器 + AC 预测器"包成可被规划器调用的世界模型。默认 MPC 超参：
|
||||
|
||||
```python
|
||||
mpc_args = {"rollout": 2, "samples": 400, "topk": 10, "cem_steps": 10,
|
||||
"momentum_mean": 0.15, "momentum_std": 0.15, "maxnorm": 0.05}
|
||||
```
|
||||
|
||||
`encode(image)`：单帧得先复制成 2 帧（tubelet 时间核=2）再编码，且**必须 layer_norm**（与训练目标同一归一化空间，能量尺度才对齐）：
|
||||
|
||||
```python
|
||||
clip = clip.permute(...).flatten(0,1).unsqueeze(2).repeat(1, 1, 2, 1, 1) # 单帧 → 2 帧
|
||||
h = self.encoder(clip)
|
||||
if self.normalize_reps: h = F.layer_norm(h, (h.size(-1),))
|
||||
```
|
||||
|
||||
`infer_next_action`：定义"走一步"的闭包交给 `cem`。要点——**视觉表示靠 AC 预测器"想象"，本体位姿靠运动学硬算**：
|
||||
|
||||
```python
|
||||
def step_predictor(reps, actions, poses):
|
||||
next_rep = self.predictor(reps, actions, poses)[:, -self.tokens_per_frame:] # 取最后一帧预测
|
||||
if self.normalize_reps: next_rep = F.layer_norm(next_rep, (next_rep.size(-1),))
|
||||
next_pose = compute_new_pose(poses[:, -1:], actions[:, -1:]) # 运动学积分，非网络预测
|
||||
return next_rep, next_pose
|
||||
mpc_action = cem(context_frame=rep, context_pose=pose, goal_frame=goal_rep,
|
||||
world_model=step_predictor, **self.mpc_args)[0]
|
||||
```
|
||||
|
||||
### 7.2 能量函数就是 latent L1（`mpc_utils.py`）
|
||||
|
||||
```python
|
||||
def l1(a, b):
|
||||
return torch.mean(torch.abs(a - b), dim=-1) # 想象状态 vs 目标状态，逐元素 L1
|
||||
```
|
||||
|
||||
论文的 goal-conditioned energy function，落到代码就这一行。
|
||||
|
||||
### 7.3 只优化"平移 + 夹爪"，旋转冻结为 0（读源码才见的简化）
|
||||
|
||||
动作名义 7 维，分布只建在 4 维（xyz + gripper）上；采样时旋转 3 维恒填 0：
|
||||
|
||||
```python
|
||||
std = cat([ones((rollout,3)) * maxnorm, ones((rollout,1))], dim=-1) # xyz 的 std=maxnorm
|
||||
action_samples = randn(samples, 4) * std[h] + mean[h]
|
||||
action_samples[:, :3] = clip(action_samples[:, :3], -maxnorm, maxnorm) # ← L1 球动作约束
|
||||
action_samples = cat([action_samples[:, :3], zeros((len,3)), action_samples[:, -1:]], -1) # 旋转恒 0
|
||||
```
|
||||
|
||||
`clip(±maxnorm)` 即论文"每步动作约束在 L1 球内"（默认 `maxnorm=0.05`；论文桌面实验报半径 0.075≈13cm，数量级一致，实验脚本可覆盖默认值），理由是大动作 out-of-distribution。
|
||||
|
||||
### 7.4 想象 rollout + 选精英 + 动量更新
|
||||
|
||||
```python
|
||||
for h in range(rollout): # 400 条候选同时在 latent 里播放 rollout 步
|
||||
next_frame, next_pose = world_model(frame_traj, action_traj, pose_traj)
|
||||
...
|
||||
sims = l1(final_state.flatten(1), goal_state.flatten(1)) # 只比【最终想象帧】vs 目标
|
||||
idx = sims.topk(topk, largest=False).indices # 取能量最小的 topk 精英
|
||||
mean = mean_selected * (1 - momentum_mean) + mean * momentum_mean # 带动量更新分布
|
||||
std = std_selected * (1 - momentum_std) + std * momentum_std
|
||||
```
|
||||
|
||||
全程不解码回像素——预测/比较/打分都在表示空间，这是比扩散式 Cosmos 快一个数量级（16s vs 4min）的根因。迭代 `cem_steps` 轮后返回分布均值作动作。标准 CEM：采样 → 评估 → 留精英 → 更新分布，纯采样无梯度，单卡可跑。
|
||||
|
||||
### 7.5 受控时域（receding horizon）
|
||||
|
||||
`cem` 返回 `[1, rollout, 7]` 整条轨迹，但外层执行循环**只落地第一个动作，再重新编码当前观测、重新规划**。`rollout=2` = 每次做 2 步前瞻、只执行 1 步，用前瞻避免短视。
|
||||
|
||||
### 7.6 位姿用确定性运动学：`compute_new_pose`
|
||||
|
||||
```python
|
||||
new_xyz = pose[:, :3] + action[:, :3] # 平移相加
|
||||
angle_diff = [dm @ m for dm, m in zip(delta_matrices, matrices)] # 旋转矩阵相乘复合
|
||||
new_closedness = np.clip(pose[:, -1:] + action[:, -1:], 0, 1) # 夹爪裁剪
|
||||
```
|
||||
|
||||
位姿用真实运动学递推（平移加、旋转复合、夹爪裁剪），不让网络在低维本体状态上犯错。`poses_to_diff` 是逆运算（从当前位姿→目标位姿反解动作）。
|
||||
|
||||
### 7.7 训练侧为何配套：teacher-forcing + rollout 双损失（`app/vjepa_droid/train.py:417`）
|
||||
|
||||
推理要多步 rollout，训练就必须同时练单步和多步，否则误差累积漂移：
|
||||
|
||||
```python
|
||||
z_tf = _step_predictor(z[:, :-tokens_per_frame], actions, states[:,:-1], extrinsics[:,:-1]) # teacher forcing
|
||||
_z = cat([z[:, :tokens_per_frame], z_tf[:, :tokens_per_frame]], dim=1)
|
||||
for n in range(1, auto_steps): # 用自己的预测往后滚
|
||||
_z_nxt = _step_predictor(_z, actions[:, :n+1], states[:, :n+1], extrinsics[:, :n+1])[:, -tokens_per_frame:]
|
||||
_z = cat([_z, _z_nxt], dim=1)
|
||||
z_ar = _z[:, tokens_per_frame:]
|
||||
loss = loss_fn(z_tf, h) + loss_fn(z_ar, h) # 单步 L1 + 多步 rollout L1
|
||||
```
|
||||
|
||||
`sloss`（rollout 项）让预测器在"喂自己预测"时也不漂，**推理时 CEM 的 latent rollout 才可信**——训练 rollout 与推理 CEM rollout 是配套设计。
|
||||
|
||||
---
|
||||
|
||||
## 八、全链路闭环
|
||||
|
||||
```
|
||||
MaskCollator(_MaskGenerator)：多块连乘取并集
|
||||
→ (masks_enc 上下文下标, masks_pred 目标下标) §一
|
||||
│
|
||||
▼
|
||||
encoder(clips, masks_enc) → 只编码上下文 → z_ctx §三
|
||||
predictor(z_ctx, masks_enc, masks_pred) → 在目标位置补出 ẑ_tgt §四
|
||||
target_encoder(clips) + apply_masks(masks_pred) → 目标真值 h（EMA, stop-grad）
|
||||
loss = |ẑ_tgt − h|（仅 masks_pred 上, L1） §六
|
||||
```
|
||||
|
||||
AC 阶段（§五）：把"被遮 patch"换成"未来帧"，"mask token"换成"动作/状态 token + 块因果掩码"，复用同一 latent 预测骨架；推理时反过来用——给目标图像编码成 `z_goal`，枚举动作让模型在 latent 里 rollout，以 `‖ẑ_future − z_goal‖₁` 为能量，CEM 搜最优动作、执行第一步再重规划（receding horizon）。
|
||||
|
||||
---
|
||||
|
||||
## 九、两条值得记住的设计要点
|
||||
|
||||
1. **multi-block tube 掩码**：① 时间贯穿的 tube（`temporal_scale=1.0`）逼模型学运动而非抄帧；② 块大小同步、位置随机 + 多块并集，在可批处理前提下做出 ~90% 高难度掩码。
|
||||
2. **下标即位置**：掩码通过"删 token + 传下标"实现，位置信息全程由下标 → 3D-RoPE 还原，而非依赖序列顺序。这套机制同时服务于编码器、动作无关预测器和 AC 预测器。
|
||||
|
||||
---
|
||||
|
||||
## 十、工程备忘
|
||||
|
||||
- **RoPE bug 不可贸然修**：`rotate_queries_or_keys` 的频率展开有已知 bug，但权重与之绑定。加载官方 checkpoint 必须沿用 bug 版；从头自训可切注释里的 `repeat_interleave(2)` 正确版。
|
||||
- **块因果 ≠ is_causal**：AC 的时间因果由显式 `attn_mask` 实现，`pred_is_frame_causal` 控制是否构造该矩阵；勿与 SDPA 的逐 token `is_causal` 混淆。
|
||||
- **min_keep 截断有信息损失**：为可批处理，全 batch 下标截到最短，会丢掉少量 patch；高 batch 多样性下影响小。
|
||||
- **AC 复用 EMA 编码器**：`context_encoder_key=target_encoder`，AC 阶段冻结的是预训练的 EMA target encoder，不是在线 encoder。
|
||||
- **规划默认不搜旋转**：`cem` 默认只优化平移 + 夹爪，旋转 3 维恒为 0（`axis` 可手动钉死其他维）；大幅缩小搜索空间。
|
||||
- **能量尺度靠 layer_norm 对齐**：编码、预测、目标三处都 layer_norm，规划能量（latent L1）才在同一尺度；推理侧 `normalize_reps` 必须与训练一致。
|
||||
- **训练 rollout ↔ 推理 CEM rollout 配套**：缺了训练侧的 `sloss`（autoregressive rollout 损失），推理时多步 latent rollout 会漂移、CEM 失准。
|
||||
|
||||
---
|
||||
|
||||
> 配套阅读：方法/数字/机器人结果见 [《V-JEPA 2 深度技术剖析》](V-JEPA2深度技术剖析.md)；系列脉络见 [《Meta JEPA 系列全面调研》](index.md)。
|
||||
@@ -0,0 +1,542 @@
|
||||
# 多感官物体感知与触觉：方向综述
|
||||
|
||||
> 子方向：Multisensory Object Perception & Tactile Sensing
|
||||
> 锚点论文：**ObjectFolder 系列**（CoRL 2021 / CVPR 2022 / CVPR 2023）与 **VTV-LLM**（NeurIPS 2025）
|
||||
> 定位：本综述以 MultiPLY 为出发点，系统梳理"让机器同时用视觉、听觉、触觉（乃至温度）感知物体"这一方向的传感器、仿真、数据集、表示学习、与大模型结合、以及机器人操作应用，面向研究者。
|
||||
> 配套阅读：同目录《MultiPLY技术讲解.md》
|
||||
|
||||
---
|
||||
|
||||
## 1. 这个方向是什么，为什么重要
|
||||
|
||||
人类认识一个物体，从来不是只靠"看"。判断牛油果熟没熟要捏一捏（触觉硬度），判断杯子是空是满可以敲一敲（撞击声），判断锅烫不烫要靠温度。这些**只有交互才能获得**的物理属性，正是纯视觉模型的盲区——视觉能告诉你"这是个杯子"，但说不准它的材质、软硬、温度、是否中空。
|
||||
|
||||
"多感官物体感知与触觉"这个方向，研究的就是如何让机器获得、表示并推理这些**视觉之外的物体物理属性**，核心模态是：
|
||||
|
||||
- **触觉（tactile）**：接触面的微观几何、纹理、软硬、滑动/形变——最难也最关键的一环；
|
||||
- **听觉（audio / impact sound）**：敲击声携带材质、结构（实心/中空）、尺寸信息；
|
||||
- **温度（thermal）**：材质导热性的代理信号；
|
||||
- 它们与**视觉、语言**的对齐与融合。
|
||||
|
||||
这与 MultiPLY 的关系非常直接：**MultiPLY 是"具身体 + 多感官 + LLM"的集成系统，而本方向提供它赖以成立的全部底层积木**——MultiPLY 的撞击声与材质来自 **ObjectFolder**，触觉来自 **DiffTactile**，而把触觉/多感官接进语言模型的范式（Octopi、TVL、VTV-LLM）则是它的同代与后继。
|
||||
|
||||
---
|
||||
|
||||
## 2. 方向地图（Taxonomy）
|
||||
|
||||
可以从五个正交维度理解这个方向的所有工作：
|
||||
|
||||
1. **模态组合**：触觉单模态 / 视-触 / 视-触-语 / 视-听-触 / 视-听-触-温。
|
||||
2. **数据来源**：仿真（ObjectFolder、TACTO、Taxim、DiffTactile）vs 真实采集（Touch and Go、SSVTP、ObjectFolder Real）。
|
||||
3. **表示与监督**：自监督跨模态对比（SSVTP、Touch and Go）/ 绑定到视觉锚点（UniTouch，ImageBind 式）/ 三模态成对对比（TVL）/ 隐式神经场（ObjectFolder）。
|
||||
4. **与语言/LLM 的结合度**：无语言（纯表示）→ 触觉-语言对齐（Touch100k、TLV）→ 触觉接入 LLM 做推理（Octopi、VTV-LLM）→ 接入动作（Tactile-VLA、MultiPLY）。
|
||||
5. **下游任务**：材质/属性识别、跨模态检索、接触定位、抓取稳定性预测、形状重建、物理推理问答、操作控制。
|
||||
|
||||
下面先深入两条锚点线，再横向铺开传感器、仿真、数据集、表示学习、LLM 结合与机器人操作。
|
||||
|
||||
---
|
||||
|
||||
## 3. 锚点一：ObjectFolder 系列——多感官物体的"隐式神经数据库"
|
||||
|
||||
ObjectFolder 由斯坦福 / CMU（Ruohan Gao、Jiajun Wu、Li Fei-Fei、Wenzhen Yuan 等）推动，三代演进，是整个方向最具影响力的数据基座。
|
||||
|
||||
### 3.1 核心思想：Object File 与隐式神经表示
|
||||
|
||||
它借用认知科学的 **"Object File"** 概念（Kahneman）——一个物体在某位置上被接收到的全部感官信息。ObjectFolder 把每个物体建模成一个**紧凑的隐式神经网络**，内含三个子网络：
|
||||
|
||||
- **VisionNet**：给定相机视角/光照，渲染外观；
|
||||
- **AudioNet**：给定敲击位置/力度，给出撞击声；
|
||||
- **TouchNet**：给定接触位置/凝胶形变，给出触觉读数（按 DIGIT 传感器建模）。
|
||||
|
||||
关键设计是 **"intrinsic（物体内禀）/ extrinsic（查询参数）分离"**：物体的内禀属性固化在网络权重里，用外参（视角、敲击点、接触点）去"查询"就能得到对应模态的感官信号。这让数据集既紧凑又灵活——存的是网络，不是海量渲染结果。
|
||||
|
||||
### 3.2 三代演进
|
||||
|
||||
| 代次 | 会议 | 物体数 | 关键进展 |
|
||||
|------|------|--------|----------|
|
||||
| **ObjectFolder 1.0** | CoRL 2021 | 100（虚拟） | 首次把视/听/触统一进隐式神经表示；4 个基准任务：实例识别、跨模态检索、3D 重建、机器人抓取 |
|
||||
| **ObjectFolder 2.0** | CVPR 2022 | 1000（虚拟） | 规模 ×10、渲染快几个数量级、质量大幅提升；**首次实现 sim2real**（尺度估计、接触定位、形状重建三任务从虚拟物体迁移到真实物体） |
|
||||
| **ObjectFolder Benchmark + ObjectFolder Real** | CVPR 2023 | +100（真实） | 10 个标准化任务（围绕识别、重建、操作）；用 Franka 机械臂 + GelSight 采集 100 个真实家用物体的网格、视频、撞击声、触觉，建立 neural↔real 对照基准 |
|
||||
|
||||
### 3.3 它为什么对 MultiPLY 至关重要
|
||||
|
||||
MultiPLY 的数据流水线里，**ObjectFolder 提供了 1k 物体网格 + 以隐式神经场存储的撞击声 + 材质标注**——智能体"敲击"（`<hit>`）一个物体时听到的声音，正是查询 AudioNet 得到的。可以说没有 ObjectFolder 这类"可查询的多感官物体库"，MultiPLY 的"主动交互取声"就无从谈起。
|
||||
|
||||
---
|
||||
|
||||
## 4. 锚点二：VTV-LLM——把触觉"视频"接进大语言模型
|
||||
|
||||
**VTV-LLM: Universal Visuo-Tactile Video Understanding for Embodied Interaction**（NeurIPS 2025，Yifan Xie 等）是首个面向**通用视触觉视频（Visuo-Tactile Video）理解**的多模态大语言模型，把触觉感知正式当作"跨模态推理"问题——让触觉视频与语言描述对齐，从而对物理属性做复杂推理。
|
||||
|
||||
### 4.1 为什么是"视频"而非"图像"
|
||||
|
||||
视触觉传感器（GelSight/DIGIT 等）本质是相机，但它的输出与自然图像差异巨大，且**触觉本身是时序过程**：按压、滑动、形变都在时间维度展开，存在帧间相关与时间冗余。所以 VTV-LLM 强调对触觉**视频**做鲁棒的时序表示，而非把它当静态图。
|
||||
|
||||
### 4.2 VTV150K 数据集
|
||||
|
||||
- **规模**：150,000 视频帧，来自 **100 个物体**；
|
||||
- **跨传感器**：横跨 **GelSight Mini、DIGIT、Tac3D** 三种传感器（这点很重要——跨传感器泛化是触觉领域的老大难）；
|
||||
- **属性标注**：四个基础触觉属性——**硬度（hardness）、凸起（protrusion）、弹性（elasticity）、摩擦（friction）**；
|
||||
- **问答构造**：用结构化模板 + 比较算子（more/less/most/least）+ 属性选择器，生成约 **10,000 条 QA 对**，支持比较分析、场景决策等。
|
||||
|
||||
### 4.3 三阶段训练范式
|
||||
|
||||
1. **VTV enhancement**：学习鲁棒的视触觉表示（针对触觉视频的特性做专门微调）；
|
||||
2. **VTV-text alignment**：建立视触觉与语言的跨模态对应；
|
||||
3. **text prompt finetuning**：让模型用自然语言生成回答。
|
||||
|
||||
最终能做触觉特征评估、表面特征区分、触觉场景分析等具身交互任务。
|
||||
|
||||
### 4.4 它在谱系中的位置
|
||||
|
||||
VTV-LLM 与 MultiPLY 是互补的：MultiPLY 把触觉作为"多感官之一"塞进具身 LLM、强调主动交互闭环；VTV-LLM 则**专攻触觉这一条模态的深度理解**（时序、跨传感器、细粒度属性、可比较推理）。两者合起来勾勒了"触觉 + 语言"的两种走法：广度集成 vs 深度专精。
|
||||
|
||||
---
|
||||
|
||||
## 5. 传感器基础：触觉与听觉怎么"采"
|
||||
|
||||
### 5.1 视触觉（vision-based tactile）传感器
|
||||
|
||||
这是当前触觉学习的主流硬件，原理是用一块**可形变弹性体（凝胶）**做接触介质，背后一个**微型相机**拍下凝胶被压出的形变，从而把"触觉"转化为"图像"——于是所有计算机视觉/深度学习算法都能直接用。
|
||||
|
||||
- **GelSight**（MIT 起源）：高分辨率，能估计接触几何与受力；很多变体（GelSlim 等）。
|
||||
- **DIGIT**（Meta AI × GelSight，2020/2021）：小型化、低成本、可装在多指手上，是机器学习社区用得最多的型号；2024 年推出 **Digit 360**（>18 种感知特征）。
|
||||
- **Tac3D** 等：提供三维形变/力场估计。
|
||||
|
||||
视触觉传感器的优点是"信息密度高、可直接复用视觉模型"，缺点是**各家输出不标准化**——这正是 UniTouch、TLV-CoRe 等要解决的"跨传感器泛化"问题。
|
||||
|
||||
### 5.2 听觉：接触式麦克风与撞击声
|
||||
|
||||
撞击声携带材质、结构、尺寸信息，且**极具判别性**且能捕捉"视觉看不到的瞬时事件"。采集上常用**接触式麦克风（contact microphone）**（如 See Hear Feel），物理上则可由声学仿真（如 ObjectFolder 的 AudioNet、SoundSpaces 的房间脉冲响应）合成。
|
||||
|
||||
---
|
||||
|
||||
## 6. 仿真与数据生成：触觉/声音"造数据"
|
||||
|
||||
真实触觉数据采集昂贵（要机械臂逐点接触），所以仿真是这个方向的命脉。视触觉仿真有一条清晰的演进线：
|
||||
|
||||
| 仿真器 | 年份/会议 | 类型 | 关键特点 |
|
||||
|--------|-----------|------|----------|
|
||||
| **TACTO** | 2020（RAL/IROS） | 渲染式 | 高速渲染 DIGIT/OmniTact 触觉图像（数百 FPS），接触动力学交给 PyBullet 等外部物理引擎 |
|
||||
| **Taxim** | 2021（RAL 2022） | 示例式/数据驱动 | 用多项式查找表建模光学响应 + 弹性叠加原理建模 marker 运动；**<100 个真实标定点**即可，CPU 可跑 |
|
||||
| **DiffTactile** | ICLR 2024 | 物理式**可微** | FEM 软体模型 + 多材质仿真（刚/弹/弹塑性）；可微性支持梯度优化做 sim2real 标定与技能学习 |
|
||||
|
||||
值得注意的是 **DiffTactile 正是 MultiPLY 触觉信号的来源**，且其作者（Zilin Si）也是 Taxim 的主导者，呈现清晰的研究传承；DiffTactile 隶属 Genesis-Embodied-AI 生态。更新的 **DOT-Sim** 进一步用 MPM（物质点法）建模软体传感器，提升物理精度。
|
||||
|
||||
声学方面，撞击声可由 ObjectFolder 的隐式声场查询得到，环境/空间化音频则可用 SoundSpaces 式的**房间脉冲响应（RIR）卷积**生成（MultiPLY 仿真器即如此）。
|
||||
|
||||
---
|
||||
|
||||
## 7. 数据集谱系（一张表看懂）
|
||||
|
||||
| 数据集 | 年份/会议 | 模态 | 规模 | 传感器/来源 | 特点 |
|
||||
|--------|-----------|------|------|-------------|------|
|
||||
| **ObjectFolder 1.0** | CoRL 2021 | 视/听/触 | 100 虚拟物体 | DIGIT（触觉） | 隐式神经 Object File |
|
||||
| **ObjectFolder 2.0** | CVPR 2022 | 视/听/触 | 1000 虚拟物体 | 仿真 | 实时渲染、sim2real |
|
||||
| **ObjectFolder Real** | CVPR 2023 | 视/听/触 | 100 真实物体 | Franka + GelSight | 真实多感官测量、10 任务基准 |
|
||||
| **SSVTP** | RSS 2023 | 视-触 | ~4.5k 对齐对 | UR5 + DIGIT | 机器人自采、空间对齐 |
|
||||
| **Touch and Go (TAG)** | NeurIPS 2022 | 视-触 | in-the-wild | 人采 + GelSight | 自然场景、真实物体 |
|
||||
| **VisGel** | （早期） | 视-触 | ~大规模 | GelSight | 后续多个语言数据集的视触来源 |
|
||||
| **PhysiCLeAR**（Octopi） | RSS 2024 | 触-语 | 408 视频/74 物体 | GelSight | 硬度/粗糙/凹凸属性标注 |
|
||||
| **TVL** | ICML 2024 | 触-视-语 | 44K 对 | SSVTP+HCT；GPT-4V 伪标注 | 三模态对齐 |
|
||||
| **TLV** | 2024 | 触-语-视 | ~19.8k 条 | VisGel + 人机协作标注 | 句级描述 |
|
||||
| **Touch100k** | 2024（Inf. Fusion） | 触-语-视 | ~100k 条 | TAG+VisGel；GPT-4V | 多粒度触觉描述 |
|
||||
| **VTV150K**（VTV-LLM） | NeurIPS 2025 | 视-触（视频）-语 | 150k 帧/100 物体 | GelSight Mini/DIGIT/Tac3D | 跨传感器、4 属性、QA |
|
||||
|
||||
一个清晰的趋势：**从"视-触成对"→"加上语言"→"视频化、跨传感器、问答化"**，数据正在朝"能直接训练触觉大模型"的方向演进。
|
||||
|
||||
---
|
||||
|
||||
## 8. 表示学习：把触觉对齐到视觉与语言
|
||||
|
||||
核心问题：触觉信号怎么学到一个**能和视觉、语言互通**的表示？四种代表性思路：
|
||||
|
||||
- **自监督跨模态对比（机器人自采）——SSVTP**（RSS 2023）：让机器人自动采集**空间对齐**的视-触图像对，用跨模态对比损失学共享隐空间，免人工标注；下游 5 个定位/跟随任务取得 73–100% 成功率。
|
||||
- **自然场景视-触学习——Touch and Go**（NeurIPS 2022）：人手持 GelSight 在真实世界探物 + 录第一视角视频，做自监督视触特征、触觉驱动图像风格化、触觉未来帧预测。
|
||||
- **绑定到视觉锚点——UniTouch**（CVPR 2024，"Binding Touch to Everything"）：把触觉 embedding 对齐到**已与多模态关联的预训练图像 embedding**（ImageBind 式），并用**可学习的"传感器特定 token"**同时吃多种异构传感器；从而零样本做材质识别、抓取稳定性预测、触觉图像问答，还能接 diffusion 做触觉→图像生成。
|
||||
- **三模态成对对比 + 生成——TVL**（ICML 2024，UC Berkeley/Meta）：不把一切绑到视觉，而是在**触/视/语三模态间两两对比**；用 44K 对（10% 人工 + 90% GPT-4V 伪标注）训练触觉编码器，再微调 **LLaMA2-7B** 生成触觉描述；分类 +29%，触视理解超 GPT-4V +12%。
|
||||
|
||||
延伸：**Touch100k / TLV-Link** 用课程学习把触-语-视对齐做到 100k 规模；**TLV-CoRe**（2026）提出 Sensor-Aware Modulator 统一不同传感器特征，专攻跨传感器鲁棒性。
|
||||
|
||||
---
|
||||
|
||||
## 9. 触觉/多感官接入语言与 LLM
|
||||
|
||||
这是与 MultiPLY 最近的一圈，可按"理解 → 推理 → 动作"排列：
|
||||
|
||||
- **触觉物理属性推理——Octopi**（RSS 2024）：用 GelSight 触觉视频 + VLM，最小语言微调即可预测并推理物体物理属性（硬度/粗糙/凹凸）。经典例子：摸两个牛油果，结合触觉（更软）+ 常识（更软=更熟）选出更熟的那个——展示了"触觉 + 常识推理"的闭环。
|
||||
- **触觉视频大模型——VTV-LLM**（NeurIPS 2025）：见第 4 节，跨传感器、时序、可比较推理。
|
||||
- **触觉生成式语言模型——TVL**：见第 8 节，LLaMA2 生成触觉描述。
|
||||
- **触觉进入 VLA（动作）——Tactile-VLA / VTLA**：把触觉接入"视觉-语言-动作"模型，用混合位置-力控制器 + 触觉反馈推理，做插入等接触密集型操作。
|
||||
- **集大成的具身多感官 LLM——MultiPLY**：把视/听/触/温作为状态 token、配动作 token，形成主动交互闭环（详见配套文档）。
|
||||
|
||||
**一句话对比**：Octopi/VTV-LLM 专注"触觉→语言理解与推理"；TVL 专注"触觉表示 + 描述生成"；Tactile-VLA 把触觉接到动作；MultiPLY 把它们整合进具身 3D 智能体。
|
||||
|
||||
---
|
||||
|
||||
## 10. 多感官机器人操作：为什么需要不止一种感官
|
||||
|
||||
回到机器人本身——多感官的价值在操作任务上最直观：
|
||||
|
||||
- **See, Hear, and Feel**（CoRL 2022，Hao Li 等）：用相机（看）+ 接触式麦克风（听）+ 视触觉传感器（触），自注意力融合三模态。在**密集装填（dense packing）**与**倒水（pouring）**两个难任务上验证：视觉给全局但易遮挡，**音频给关键时刻的即时反馈（甚至是看不见的）**，触觉给精确局部几何——三者缺一不可。
|
||||
- **MidasTouch**（CoRL 2022）：**纯触觉**全局定位——传感器在物体表面滑动，用粒子滤波 + 触觉码网络估计位姿分布，无需视觉先验；并发布 YCB-Slide 数据集。说明触觉单模态也能解决"我现在摸到的是物体哪个部位"。
|
||||
- **声音引导探索**：如"Impact Makes a Sound"指出声音高度判别且常被忽视；AuRL 用接触麦克风的声音做自监督学习动态操作。
|
||||
|
||||
这些工作共同说明：**遮挡、瞬时事件、精细局部几何**这三类信息分别由视觉、听觉、触觉最擅长覆盖，多感官融合不是锦上添花而是任务刚需。
|
||||
|
||||
---
|
||||
|
||||
## 11. 开放问题与趋势
|
||||
|
||||
- **跨传感器泛化**：GelSight / DIGIT / Tac3D 输出不标准，模型换个传感器就掉点。UniTouch 的传感器 token、TLV-CoRe 的 Sensor-Aware Modulator、VTV150K 的跨传感器数据都是尝试，但远未解决。
|
||||
- **Sim2Real**：触觉/声学仿真与真实的差距仍大；DiffTactile 的可微标定、ObjectFolder 的 neural↔real 基准是方向，但真实触觉的噪声、磨损、标定漂移仍棘手。
|
||||
- **数据稀缺与标注**：触觉天然缺语言标签，目前大量依赖 GPT-4V 伪标注（TVL、Touch100k），质量与偏置存疑。
|
||||
- **时序与动态**：多数工作仍偏静态接触；VTV-LLM 强调视频时序是重要一步，但动态滑动/力控的建模仍欠缺。
|
||||
- **温度等"长尾模态"**：温度、本体感觉等被 MultiPLY 列入但少有专门数据与模型（MultiPLY 代码里温度模态甚至未完整释出）。
|
||||
- **从理解到动作的闭环**：Tactile-VLA、MultiPLY 起步，但"主动决定去摸哪、摸完怎么改计划"的交互式策略仍是前沿。
|
||||
- **统一的多感官基础模型**：把视/听/触/温 + 语言 + 动作统一在一个模型里（MultiPLY 的愿景），数据、表示、训练范式都还在早期。
|
||||
|
||||
---
|
||||
|
||||
## 12. 与 MultiPLY 的呼应
|
||||
|
||||
把本方向的积木对回 MultiPLY，就能看清它"站在巨人肩上"的具体位置：
|
||||
|
||||
- **数据底座** ← ObjectFolder（撞击声 + 材质 + 物体库）；
|
||||
- **触觉信号** ← DiffTactile（可微触觉仿真）；
|
||||
- **声学空间化** ← SoundSpaces 式 RIR 卷积；
|
||||
- **触觉/多感官 + 语言范式** ← Octopi / TVL / VTV-LLM 的同代探索；
|
||||
- **多感官操作动机** ← See Hear Feel 证明的"三感官互补";
|
||||
- **MultiPLY 的增量** = 把这些整合进**具身 3D 智能体 + 主动交互闭环（动作 token / 状态 token）+ LLM**。
|
||||
|
||||
换句话说，本方向回答的是"**每一种感官怎么采、怎么表示、怎么对齐语言**"，而 MultiPLY 回答的是"**如何让一个 LLM 智能体主动调度这些感官去完成任务**"。
|
||||
|
||||
---
|
||||
|
||||
## 13. 论文与资源清单
|
||||
|
||||
### 锚点
|
||||
- ObjectFolder 1.0（CoRL 2021）<https://arxiv.org/abs/2109.07991>
|
||||
- ObjectFolder 2.0（CVPR 2022）<https://arxiv.org/abs/2204.02389>
|
||||
- ObjectFolder Benchmark / Real（CVPR 2023）<https://arxiv.org/abs/2306.00956>
|
||||
- VTV-LLM（NeurIPS 2025）<https://arxiv.org/abs/2505.22566>
|
||||
|
||||
### 触觉/多感官 + 语言与 LLM
|
||||
- Octopi（RSS 2024）<https://arxiv.org/abs/2405.02794>
|
||||
- TVL: Touch-Vision-Language Dataset（ICML 2024）<https://arxiv.org/abs/2402.13232>
|
||||
- UniTouch: Binding Touch to Everything（CVPR 2024）<https://arxiv.org/abs/2401.18084>
|
||||
- TLV: Touch-Language-Vision Dataset（2024）<https://arxiv.org/abs/2403.09813>
|
||||
- Touch100k（2024）<https://arxiv.org/abs/2406.03813>
|
||||
- TLV-CoRe（2026）<https://arxiv.org/abs/2511.11512>
|
||||
- Tactile-VLA（2025）<https://arxiv.org/abs/2507.09160>
|
||||
|
||||
### 视触觉表示学习与数据集
|
||||
- SSVTP（RSS 2023）<https://arxiv.org/abs/2209.13042>
|
||||
- Touch and Go（NeurIPS 2022）<https://arxiv.org/abs/2211.12498>
|
||||
|
||||
### 传感器与仿真
|
||||
- TACTO 仿真器<https://arxiv.org/abs/2012.08456>
|
||||
- Taxim 仿真器（GelSight）<https://arxiv.org/abs/2109.04027>
|
||||
- DiffTactile（ICLR 2024，MultiPLY 触觉来源）<https://arxiv.org/abs/2403.08716>
|
||||
|
||||
### 多感官机器人操作
|
||||
- See, Hear, and Feel（CoRL 2022）<https://arxiv.org/abs/2212.03858>
|
||||
- MidasTouch（CoRL 2022）<https://arxiv.org/abs/2210.14210>
|
||||
- Impact Makes a Sound（2022）<https://arxiv.org/abs/2208.02680>
|
||||
|
||||
---
|
||||
|
||||
## 14. 硬件方案：多感官数据采集设备选型（国际主流 vs 中国平替）
|
||||
|
||||
> 目标场景：搭建一套能采集**视觉 / 深度 / 触觉 / 撞击声 / 温度**的物体级多感官数据采集装置（对标 ObjectFolder Real、TVL、VTV150K 的数据规格）。
|
||||
> 选型基调：**性能 / 生态优先**——主推社区成熟、论文复现友好的国际主流器件，同时为每一类给出**中国平替**，便于成本敏感时替换。
|
||||
> 价格为公开渠道的大致参考，会随时间与汇率波动，仅供量级判断。
|
||||
|
||||
### 14.0 一套采集装置需要哪些"感官硬件"
|
||||
|
||||
把多感官数据采集拆成"感官通道 + 交互执行 + 同步"三部分：
|
||||
|
||||
- **感官通道**：① 视触觉/触觉传感器（触）② RGB-D 相机（视 + 点云）③ 接触式麦克风 + 麦克风（听，尤其撞击声）④ 热成像/温度（温）。
|
||||
- **交互执行**（"主动采集"的关键，对标 ObjectFolder Real 用 Franka + GelSight 逐点接触）：⑤ 机械臂 ⑥ 夹爪/灵巧手 ⑦ 六维力/力矩传感器（控制接触力、保护传感器）。
|
||||
- **同步与底座**：转台、标定板、统一时间戳采集（硬件触发或 ROS 时间同步）。
|
||||
|
||||
下面逐类给出选型。
|
||||
|
||||
### 14.1 视触觉（光学）触觉传感器——"触觉相机"
|
||||
|
||||
把凝胶形变拍成图像，可直接复用视觉模型，是当前触觉学习数据采集的首选。**强烈建议数据采集主力选 GelSight Mini 或 DIGIT**——因为 ObjectFolder、Touch and Go、TVL、PhysiCLeAR、VTV150K 等数据集大多基于它们，复现/迁移最顺。
|
||||
|
||||
| 型号 | 厂商/产地 | 关键规格 | 参考价 | 备注 |
|
||||
|------|-----------|----------|--------|------|
|
||||
| **GelSight Mini** | GelSight（美） | 超人类分辨率 2D/3D，浏览器即插即用，提供 ROS/Python | ~$499 | 生态最成熟、采集首选 |
|
||||
| **DIGIT** | Meta×GelSight（美） | 小型化、USB-3、可装多指手，开源（digit.ml） | 低成本/开源 | 论文用得最多、适合上手 |
|
||||
| **Digit 360** | Meta×GelSight（美） | 指尖形、~830 万 taxel、可测 1mN、含振动/热/气味 | 科研早期申请 | 最前沿、面向多模态触觉研究 |
|
||||
| **DM-Tac W / F** | 戴盟 Daimon（深圳） | 多维高分辨率视触觉、CE/FCC、>500 万次按压寿命 | 询价 | 中国平替，主打高频高分辨率 |
|
||||
| **GF225** | 纬钛 WTac（中国） | 10µm 级分辨率、可同测法向/切向力 | 询价 | 中国平替，分辨率高 |
|
||||
|
||||
### 14.2 多维力阵列 / 电子皮肤 / 仿生触觉
|
||||
|
||||
当需要**法向+切向力、温度、振动**等更"物理量化"的触觉（而非纯图像），用阵列式/仿生传感器。这一类**中国厂商已相当强**（人形机器人热潮推动），可大胆用国产。
|
||||
|
||||
| 型号 | 厂商/产地 | 原理 | 关键规格 | 备注 |
|
||||
|------|-----------|------|----------|------|
|
||||
| **BioTac** | SynTouch（美） | 液阻 + 热敏 + 水听器 | 测法向/切向力、振动、温度梯度，仿人指尖 | 经典仿生、多模态 |
|
||||
| **uSkin** | XELA Robotics（日） | 霍尔阵列 + 磁体 | 3 轴力分布阵列，可贴/拧到手指手掌 | 分布式多点 |
|
||||
| **ReSkin** | Meta/学术（美） | 磁性软皮肤 | <$30、2–3mm 薄、400Hz、1mm 空间分辨、可更换 | 极低成本、自采友好 |
|
||||
| **PX 多维触觉 / DexH** | 帕西尼 PaXini（深圳） | 6D 霍尔阵列 | 第三代 15 维感知，单价降至数千元；曾用于英伟达 CES 展示机器人 | 中国平替，多维+灵巧手生态 |
|
||||
| **TS 指尖触觉** | 他山 TASHAN（中国） | 电容 + 触觉 AI 芯片 | 0.01N 力分辨，含接近觉/三维力/纹理；自研类脑触觉芯片 | 中国平替，边缘智能 |
|
||||
| **柔性触觉芯片** | 钛深 TacSense（深圳） | 柔性离电子（Iontronic） | 薄膜分布式压力、高灵敏；与优必选/大疆合作 | 中国平替，柔性大面积 |
|
||||
|
||||
### 14.3 RGB-D / 深度相机——视觉与点云
|
||||
|
||||
提供外观图像 + 深度点云（对标 ObjectFolder 的 VisionNet、3D 重建）。**注意：Intel 已停止 RealSense 新品研发**，长周期项目建议把 Orbbec（奥比中光）作为"未来可持续"的首选之一——它自研深度芯片、生态接近、价格更低。
|
||||
|
||||
| 型号 | 厂商/产地 | 原理 | 关键规格 | 参考价 |
|
||||
|------|-----------|------|----------|--------|
|
||||
| **RealSense D405 / D435i / D455** | Intel（美） | 主动红外双目 | D405 近距操作首选；D455 FOV 90×65、0.6–6m；板载算深度 | ~$250–400（已停研，渠道库存） |
|
||||
| **Azure Kinect DK** | Microsoft（美） | ToF | 大 FOV、高彩色分辨、30fps、3m 内骨架追踪佳 | ~$400 |
|
||||
| **ZED 2 / ZED X** | Stereolabs（美） | 被动双目 + GPU 神经深度 | 户外可用、最远 ~20m，需 CUDA GPU | ~$450+ |
|
||||
| **Gemini 335 / Femto Bolt** | Orbbec 奥比中光（深圳） | 主动双目 / ToF | Gemini 335 户外/复杂场景优于 D435i，FOV 更大；Femto Bolt 兼容 Azure Kinect SDK | ~¥1950 / ~$250 |
|
||||
| **Percipio 系列** | 图漾 PercipioXYZ（上海） | 主动双目 + 结构光辅助 | 工业级、环境适应性强 | 询价 |
|
||||
|
||||
### 14.4 热成像 / 温度——第四感官
|
||||
|
||||
温度是材质导热性的代理信号（MultiPLY 列为第四模态）。FLIR 的 Lepton/Boson 是集成生态标杆；但**中国厂商在出货量上已全球领先**，性价比高，平替力度可大。
|
||||
|
||||
| 型号 | 厂商/产地 | 关键规格 | 备注 |
|
||||
|------|-----------|----------|------|
|
||||
| **FLIR Lepton** | Teledyne FLIR（美） | 微型 LWIR 模组，160×120 / 80×60，可辐射测温 | 集成生态最佳（多平台 SDK） |
|
||||
| **FLIR Boson** | Teledyne FLIR（美） | 12µm 非制冷、640 分辨率，性能参考级 | 高端核心 |
|
||||
| **艾睿 / Micro III 等模组** | 睿创微纳 InfiRay/Raytron（烟台） | 模组/机芯齐全，独立测评对比 FLIR 表现接近 | 中国平替，出货量大 |
|
||||
| **HIKMICRO 模组** | 海康微影（杭州） | MEMS 自研，探测器/机芯/模组全栈 | 中国平替，供应链完整 |
|
||||
| **Guide 高德** | 高德红外/高德智感（武汉） | 中国最大、全球第二大红外探测器企业 | 中国平替，自研探测器 |
|
||||
|
||||
> 提示：高端探测器精度上国产仍略逊 FLIR，但对"物体相对温度/材质区分"这类数据采集足够。
|
||||
|
||||
### 14.5 音频——撞击声与环境声
|
||||
|
||||
对标 ObjectFolder 的 AudioNet（撞击声）。两类麦克风互补：**接触式麦克风（压电 piezo）采"敲击/接触的结构声"**，**麦克风阵列采"空间环境声 + 声源定位"**。
|
||||
|
||||
- **接触式麦克风（撞击声主力）**：压电片把表面振动转成电信号，能隔离空气噪声、专捕接触/撞击声。注意 piezo 频响非线性、有谐振着色，采集时需做阻抗匹配/滤波。国际可选 DPA、Shure 等专业贴片式；低成本可用通用压电片 + 前置放大。
|
||||
- **麦克风阵列（环境声/定位）**：如 8 麦阵列可做声源到达方向估计（DoA）。开源生态常用 **ReSpeaker** 系列阵列（带 ROS 接口）。采集时遵循"stop-perceive-act"（采集瞬间停住）以减少自运动噪声。
|
||||
|
||||
### 14.6 机械臂——"主动接触"的执行主体
|
||||
|
||||
ObjectFolder Real 用 **Franka + GelSight 逐点接触**采集真实触觉。研究级采集强烈建议选**带关节力矩、1kHz 低层控制、ROS2 生态好**的臂——这对"力控接触不压坏触觉传感器"至关重要。
|
||||
|
||||
| 型号 | 厂商/产地 | 关键规格 | 参考价 | 备注 |
|
||||
|------|-----------|----------|--------|------|
|
||||
| **Franka Research 3** | Franka（德） | 7-DOF、每关节力矩、1kHz、低层接口 | ~$25–30K | 学术操作研究事实标准 |
|
||||
| **Kinova Gen3** | Kinova（加） | 7-DOF、每关节力矩、ROS2、30 分钟上手 | ~$28K | 研究级、轻量便携 |
|
||||
| **UR5e** | Universal Robots（丹麦） | 5kg/850mm、工业可靠性标杆 | ~$35K | 标配无关节力矩 |
|
||||
| **RealMan RM65-B** | 睿尔曼（北京） | 6-DOF、整臂 7.2kg、负载 5kg(峰值 9kg)、610mm、ROS | 显著更低 | 中国平替，国内具身/模仿学习常用 |
|
||||
| **JAKA / AUBO / Dobot** | 节卡/遨博/越疆（中国） | 协作臂，±0.02–0.1mm，负载/易用性强 | 较低 | 中国平替，工业生态成熟 |
|
||||
|
||||
> 取舍：Franka/Kinova 强在**低层力矩控制 + 开放研究接口**；多数国产协作臂历史上偏工业易用/负载/价格，研究级力控 API 稍弱，但 RealMan 等已专攻具身研究位。
|
||||
|
||||
### 14.7 末端执行器——夹爪与灵巧手
|
||||
|
||||
采集时用来"持握触觉传感器去接触物体"或"做抓取交互"。若只为给传感器做接触，二指夹爪足矣；若要采集灵巧操作数据，再上灵巧手。
|
||||
|
||||
| 型号 | 厂商/产地 | 关键规格 | 参考价 | 备注 |
|
||||
|------|-----------|----------|--------|------|
|
||||
| **Robotiq 2F-85** | Robotiq（加） | 二指自适应、行程 85mm、握力 30–100N、负载 5kg、即插即用 | 中端 | 接触采集够用、最省心 |
|
||||
| **Allegro Hand** | Wonik（韩） | 直驱四指研究标准、原生兼容 DIGIT | ~$16K | 研究常用，连续负载易过热 |
|
||||
| **Shadow Hand** | Shadow Robot（英） | 24-DOF、>100 传感器、1kHz，最仿人 | >$100K | 最高保真，贵且维护重 |
|
||||
| **因时 Inspire RH56** | 因时机器人（北京） | 6-DOF/12 关节、内置 6 路力传感、力位混合控制 | 较低 | 中国平替，已规模出货 |
|
||||
| **LinkerHand L20/L30** | 灵心巧手 Linkerbot（北京） | 21/22-DOF（研究版至 42-DOF），多传动 | ~¥5–10 万 | 中国平替，高自由度领先 |
|
||||
| **BrainCo Revo 2** | 强脑（杭州） | 11-DOF、383g、握力 50N、含 3D 触觉 | 较低 | 中国平替，超轻+触觉 |
|
||||
|
||||
### 14.8 六维力/力矩传感器——接触力闭环
|
||||
|
||||
装在臂腕与末端之间，用于**控制接触力、保护脆弱的触觉凝胶、并把力觉作为一路数据**。这一类**国产成熟度高、性价比突出**，坤维已可对标 ATI。
|
||||
|
||||
| 型号 | 厂商/产地 | 关键规格 | 参考价 | 备注 |
|
||||
|------|-----------|----------|--------|------|
|
||||
| **ATI Nano 系列** | ATI（美） | 0.5% 精度、硅应变片，计量级 | 可达 ~¥10 万/个 | 行业龙头、最高精度 |
|
||||
| **Robotiq FT 300** | Robotiq（加） | 电容式、±300N/±30N·m、全数字 | 中端 | 高重复性而非高精度，UR 即插即用 |
|
||||
| **坤维 Kunwei** | 坤维科技（中国） | 0.5% 精度对标 ATI，协作机器人市占率 >80% | ~¥2 万+ | 中国平替首选 |
|
||||
| **宇立 SRI** | 宇立仪器（中国） | 9mm 全球最薄、汽车碰撞测试级 | 询价 | 中国平替，超薄/磨抛 |
|
||||
| **鑫精诚 Forsentek/XJC** | 鑫精诚（中国） | 结构解耦、3C 起家、高性价比 | 较低 | 中国平替，成本敏感 |
|
||||
|
||||
### 14.9 推荐配置（面向多感官数据采集）
|
||||
|
||||
**配置 A —— 性能/生态优先（论文复现友好，推荐）**
|
||||
|
||||
- 触觉：**GelSight Mini ×1–2**（主力）+ 选配 **DIGIT** 装夹爪指尖
|
||||
- 视觉/点云：**Intel RealSense D435i/D405**（近距）或 **ZED 2**（大场景）
|
||||
- 温度：**FLIR Lepton/Boson** 模组
|
||||
- 音频：专业**接触式麦克风**（撞击声）+ **ReSpeaker 麦阵**（环境声）
|
||||
- 机械臂：**Franka Research 3**（关节力矩 + 1kHz 力控）
|
||||
- 末端：**Robotiq 2F-85**（接触采集）或 **Allegro Hand**（灵巧采集）
|
||||
- 力觉：**ATI Nano** 或 **坤维**（力控闭环保护触觉传感器）
|
||||
- 同步：转台 + 标定板 + ROS2 时间同步/硬件触发
|
||||
|
||||
**配置 B —— 中国平替优先（成本可控，国产生态）**
|
||||
|
||||
- 触觉：**戴盟 DM-Tac / 纬钛 GF225**（视触觉）+ **帕西尼 / 他山**（多维力阵列）
|
||||
- 视觉/点云：**Orbbec Gemini 335 / Femto Bolt**
|
||||
- 温度：**艾睿 InfiRay / 海康微影 / 高德** 模组
|
||||
- 音频：通用压电接触片 + 前置放大 + 国产麦阵
|
||||
- 机械臂：**睿尔曼 RM65-B** 或 **JAKA/遨博**
|
||||
- 末端：**因时 RH56 / LinkerHand / BrainCo Revo 2**
|
||||
- 力觉：**坤维 / 宇立 / 鑫精诚**
|
||||
|
||||
### 14.10 采集与工程注意事项
|
||||
|
||||
- **力控保护**：视触觉凝胶易磨损（DM-Tac 标称 >500 万次按压），务必用力矩臂或六维力传感器限制接触力。
|
||||
- **跨传感器一致性**：不同触觉传感器输出不可直接混用（VTV150K 跨 GelSight Mini/DIGIT/Tac3D 正是为此）；若混采，需记录传感器型号并考虑 UniTouch/TLV-CoRe 式的跨传感器对齐。
|
||||
- **多模态时间同步**：撞击声是**瞬时事件**，必须与触觉/视觉精确对齐（硬件触发优于软件时间戳）。
|
||||
- **标定**：RGB-D 内外参、热像与可见光配准（MSX 式）、力传感器零偏，采集前都要标定。
|
||||
- **数据规格对标**：想直接对接现有工作，可参考 ObjectFolder Real（网格+视频+撞击声+触觉）、TVL（视-触成对 + 语言标注）、VTV150K（视触觉视频 + 4 属性 + QA）的字段组织。
|
||||
|
||||
---
|
||||
|
||||
## 15. 超声感知：测距与材质/厚度检测
|
||||
|
||||
> 本章把**超声（ultrasound）**作为一种独立的物体感知模态纳入综述。它的独特定位是：**主动发射声波、非接触、且能"穿透"到次表面**——正好补上视觉（怕遮挡/透明/暗光）与触觉（必须接触）的盲区，介于"被动听撞击声"和"主动接触"之间。
|
||||
> 两个核心能力：① **测距（ranging）**——隔空测物体距离/轮廓；② **测厚与材质识别**——靠声速、声阻抗、回波结构反推材料厚度与种类。
|
||||
|
||||
### 15.0 为什么超声值得纳入多感官物体感知
|
||||
|
||||
- **非接触 + 不怕光**：超声靠声波而非光，全黑、强光、烟尘下都能工作，且**不受物体颜色/透明度影响**（玻璃、透明塑料这些视觉/红外的"硬骨头"，超声照测不误）。
|
||||
- **可探次表面**：声波能进入材料内部，从回波里读出**厚度、分层、内部缺陷**——这是纯表面模态（视觉、视触觉）做不到的。
|
||||
- **材质判别的物理基础**：不同材质的**声速**和**声阻抗 Z=ρc**（密度×声速）不同，回波的到达时间与幅度因此携带材质信息。
|
||||
- 与本综述其他模态互补：视觉给外观、触觉给接触面微观几何、撞击声给"敲击后"的材质线索，而**超声能在"接触之前"就隔空给出距离 + 材质预判**。
|
||||
|
||||
### 15.1 测距：脉冲回波 / 飞行时间（ToF）
|
||||
|
||||
原理极简：发射一个超声脉冲，测它碰到目标反射回来的**飞行时间（Time-of-Flight, ToF）**，距离 = 声速 × ToF ÷ 2。工程上常用**互相关（cross-correlation）**而非简单阈值来精确估计 ToF。
|
||||
|
||||
**传感器从"大块头"走向 MEMS 化**。传统压电换能器体积大、与空气声阻抗不匹配（需匹配层）。新一代 **MEMS 微机械超声换能器**有两类：
|
||||
|
||||
- **PMUT（压电式）**：低驱动电压、低功耗、与空气声阻抗匹配好、工艺成本低——是**空气中小型测距的主流**；缺点是窄带，空气中高分辨 3D 测距能力有限。
|
||||
- **CMUT（电容式）**：带宽更好，但需要高 DC 偏压和亚微米间隙，限制了声功率与测距应用。
|
||||
|
||||
**商用代表：TDK Chirp（PMUT）**。把 PMUT + 超低功耗 SoC 封进 3.5×3.5mm 的微型封装：
|
||||
|
||||
- **CH101**：量程约 1.2m；**CH201**：量程达 5m；新一代 **ICU-10201/20201** 量程 5m、FOV 可配置。
|
||||
- 亮点：毫米级精度、**不受光照/颜色/透明度影响**、大视场、**功耗约 15µA（比红外 ToF 低约 500 倍）**，片上自主运算可让主控休眠。非常适合**机器人避障、接近觉、液位检测**。
|
||||
- 局限：PMUT 窄带、空气衰减限制远距离（小型超声一般 ≤5m），多径/连续波在极近距离误差大（可用多频脉冲 MFPW 缓解），盲区需靠宽带设计压缩（已有把盲区降到 ~4.4mm、±0.3mm 误差的研究）。
|
||||
|
||||
### 15.2 测厚与材质识别
|
||||
|
||||
#### 测厚（thickness gauging）
|
||||
|
||||
同样是 ToF：脉冲在材料里来回一趟，**厚度 = 声速 × ToF ÷ 2**。探头有三种主流形态：
|
||||
|
||||
- **单晶探头 + 延迟线（delay line）**：测**薄/高精度**材料；延迟线拉开发射与回波的时间间隔，避免太薄时回波分不开。
|
||||
- **双晶探头（dual element，pitch-and-catch）**：一发一收成"V"形路径，对**腐蚀、粗糙面**信噪比更好，是腐蚀测厚主力。
|
||||
- **回波-回波（echo-to-echo）/ 穿透涂层（THRU-COAT）**：用两次背壁回波的时间差测厚，从而**忽略涂层只测基材**；多层结构可用**去卷积（deconvolution）**分离各层厚度。
|
||||
|
||||
**EMAT（电磁声换能器）——免耦合剂的特殊路线**：靠线圈涡流 + 磁场在金属/铁磁体内**直接激发超声**（洛伦兹力或磁致伸缩），天然产生**水平剪切波（SH 波）**。优点是**无需耦合剂、可隔着油漆/氧化层/空气层、耐高温**（锅炉管在 >800°C 氧化层下仍可测），适合粗糙/高温/涂覆表面；缺点是频率低、对极薄/细分层分辨率受限、只能单晶、对点蚀检测弱、仪器更贵。
|
||||
|
||||
#### 材质识别（material characterization）
|
||||
|
||||
物理上：回波幅度由**界面两侧声阻抗失配**决定，声速因材质而异——把回波信号喂给模型即可分类材质。
|
||||
|
||||
### 15.3 前沿：超声 + 机器学习
|
||||
|
||||
非接触超声 + ML 做材质识别正成为视觉的有力补充（不怕暗光/烟尘）：
|
||||
|
||||
- **经典 ML**：用经验模态分解（EMD）从回波提 16 维特征，喂 KNN / 决策树 / SVM，并配声学理论模型——显著提升机器人在黑暗/粉尘/危险环境下的材质识别。
|
||||
- **深度学习**：如 **AE-CS-TCN** 直接从原始回波联合学习空间/时序/多尺度特征（含空间注意力 + 时序卷积 + 跨尺度融合 + 交叉注意力），在机器人平台上做可复现的材质识别。
|
||||
- **双模态 / 实时**：一种同时测**接近距离 + 材质**的双模态超声系统对 13 种工业材料达 **98% 分类准确率**、测距误差 **<3mm**、毫秒级响应；也有**柔性超声传感阵列**兼顾接近觉与材质识别用于机器人安全控制。
|
||||
- **多传感器数据集**：**MatSense2025**（超声 + 毫米波）面向材质分类、无损检测与传感器融合研究。
|
||||
|
||||
> 深入阅读：本节有一份独立深度子专题《超声+ML材质识别_深度子专题.md》，详细展开物理可分性、信号特征、模型方法谱系、机器人 pre-touch 应用、数据流水线与核心挑战（距离/角度/温度/跨传感器泛化）。
|
||||
|
||||
### 15.4 与多感官框架 / MultiPLY 的关系
|
||||
|
||||
把超声放进本综述的模态地图，它是一种**"主动声学探测"模态**：
|
||||
|
||||
- 与"听"（被动撞击声，ObjectFolder 的 AudioNet）相比，超声是**主动发射 + 接收**，可控、可隔空、可探内部；
|
||||
- 与"触"相比，超声**无需接触**就能给出距离与材质预判，可作为接触前的"预探测"，降低碰坏脆弱触觉凝胶的风险；
|
||||
- 在 MultiPLY 式的具身 LLM 框架里，超声天然可成为一个新的**动作 token（如 `<probe>` 超声探测）+ 状态 token（回波/距离/材质特征）**，让智能体"先隔空扫一下再决定要不要去摸/敲"。
|
||||
- 在数据采集装置里（见第 14 章），超声可作为**第五路传感通道**，尤其适合采集"透明/暗色/内部结构"这类视觉与视触觉都吃力的样本。
|
||||
|
||||
### 15.5 硬件选型：国际主流 vs 中国平替
|
||||
|
||||
超声硬件分两条线：**消费/机器人测距传感器**（避障、接近觉）与**工业测厚/无损检测（NDT）设备**。
|
||||
|
||||
**A. 测距 / 接近觉传感器（含 MEMS 超声 ToF）**
|
||||
|
||||
| 型号/品牌 | 厂商/产地 | 特点 | 备注 |
|
||||
|-----------|-----------|------|------|
|
||||
| **Chirp CH101 / CH201 / ICU 系列** | TDK（美/日） | PMUT MEMS ToF，3.5×3.5mm，1.2–5m，mm 级，15µA 超低功耗 | 机器人/无人机首选，生态新 |
|
||||
| **车规/工业超声雷达** | Murata 村田（日） | 车载超声龙头，倒车雷达/避障 | 车规生态成熟 |
|
||||
| **MB 系列** | MaxBotix（美） | 测距/液位/接近，OEM 友好 | 模块化易集成 |
|
||||
| **UC/RU 系列** | Pepperl+Fuchs、SICK、Banner（欧美） | 工业级、IO-Link、可调声束 | 工业自动化标杆 |
|
||||
| **AK2 超声雷达 / 材质识别 / 水下测距传感器** | 奥迪威 Audiowell（广东） | 国产超声传感器龙头，**已量产"材质识别传感器"与"水下测距传感器"**，车载与机器人布局 | 中国平替首选，与本主题高度契合 |
|
||||
|
||||
**B. 测厚仪 / 无损检测（NDT）设备与探头**
|
||||
|
||||
| 型号/品牌 | 厂商/产地 | 特点 | 备注 |
|
||||
|-----------|-----------|------|------|
|
||||
| **38DL PLUS / 39DL PLUS** | Evident（原 Olympus，日/美） | 测厚 0.08–635mm，单/双晶、THRU-COAT/回波-回波、高分辨 0.001mm | 行业标杆（39DL 为新款，含 Wi-Fi/蓝牙） |
|
||||
| **便携测厚仪 / 探伤仪** | Dakota、Elcometer、Baker Hughes（欧美） | 腐蚀测厚、涂层穿透 | 工业常用 |
|
||||
| **CTS 系列探伤仪 / CTS-409 EMAT 测厚** | 汕头超声 ST-NDT（广东） | "中国超声第一家"，相控阵/3D 全聚焦/EMAT，免耦合剂电磁超声测厚 | 中国平替，NDT 全线 |
|
||||
| **HS 系列探伤 / HS F91 EMAT 测厚 / HS P9s 笔式测厚** | 武汉中科创新（汉威 HS） | 数字探伤、电磁超声测厚、应力检测、自动化检测系统 | 中国平替，产品线全 |
|
||||
|
||||
### 15.6 局限与工程注意事项
|
||||
|
||||
- **耦合剂**：接触式压电测厚通常需耦合剂（凝胶/水）；要免耦合剂选 EMAT（但分辨率、成本有代价）。
|
||||
- **空气衰减与距离**：空气中高频超声衰减快，小型 MEMS 测距一般 ≤5m；测厚则是贴合/近场。
|
||||
- **分辨率与盲区**：窄带 PMUT 分辨率有限，近距有盲区，需宽带设计或多频脉冲缓解。
|
||||
- **难测目标**：强吸声（海绵/泡沫）、镜面斜反射、极薄涂层等会削弱回波。
|
||||
- **温度影响声速**：声速随温度/介质变化，精密测距/测厚需做温度补偿与零点标定。
|
||||
- **多径与串扰**：复杂场景多径反射会污染 ToF，阵列/编码波形/互相关可改善。
|
||||
|
||||
---
|
||||
|
||||
## 来源（Sources）
|
||||
|
||||
- [ObjectFolder 1.0 (2109.07991)](https://arxiv.org/abs/2109.07991)
|
||||
- [ObjectFolder 2.0 (2204.02389)](https://arxiv.org/abs/2204.02389)
|
||||
- [ObjectFolder Benchmark/Real (2306.00956)](https://arxiv.org/abs/2306.00956)
|
||||
- [VTV-LLM (2505.22566)](https://arxiv.org/abs/2505.22566)
|
||||
- [Octopi (2405.02794)](https://arxiv.org/abs/2405.02794)
|
||||
- [TVL (2402.13232)](https://arxiv.org/abs/2402.13232)
|
||||
- [UniTouch (2401.18084)](https://arxiv.org/abs/2401.18084)
|
||||
- [TLV (2403.09813)](https://arxiv.org/abs/2403.09813)
|
||||
- [Touch100k (2406.03813)](https://arxiv.org/abs/2406.03813)
|
||||
- [TLV-CoRe (2511.11512)](https://arxiv.org/abs/2511.11512)
|
||||
- [Tactile-VLA (2507.09160)](https://arxiv.org/abs/2507.09160)
|
||||
- [SSVTP (2209.13042)](https://arxiv.org/abs/2209.13042)
|
||||
- [Touch and Go (2211.12498)](https://arxiv.org/abs/2211.12498)
|
||||
- [TACTO (2012.08456)](https://arxiv.org/abs/2012.08456)
|
||||
- [Taxim (2109.04027)](https://arxiv.org/abs/2109.04027)
|
||||
- [DiffTactile (2403.08716)](https://arxiv.org/abs/2403.08716)
|
||||
- [See, Hear, and Feel (2212.03858)](https://arxiv.org/abs/2212.03858)
|
||||
- [MidasTouch (2210.14210)](https://arxiv.org/abs/2210.14210)
|
||||
- [Impact Makes a Sound (2208.02680)](https://arxiv.org/abs/2208.02680)
|
||||
|
||||
硬件方案（第 14 节）来源：
|
||||
- [GelSight Mini / DIGIT / Digit 360 官方](https://www.gelsight.com/)
|
||||
- [Meta DIGIT 开源平台](https://digit.ml/)
|
||||
- [ReSkin (2111.00071)](https://arxiv.org/abs/2111.00071)
|
||||
- [XELA Robotics uSkin](https://www.xelarobotics.com/tactile-sensors)
|
||||
- [帕西尼 PaXini 官网](https://paxini.com/)
|
||||
- [因时机器人 Inspire-Robots 官网](https://www.inspire-robots.com/)
|
||||
- [人形机器人触觉传感器国内供应商盘点（艾邦机器人）](https://www.aibangbots.com/a/4289)
|
||||
- [深度相机选型（RealSense/ZED/Orbbec, SVRC 2026）](https://www.roboticscenter.ai/blog/best-depth-cameras-robotics)
|
||||
- [Teledyne FLIR Lepton OEM 模组](https://oem.flir.com/products/lepton/)
|
||||
- [InfiRay/FLIR/Seek 热像对比（Yole）](https://www.yolegroup.com/press-release/infiray-teledyne-flir-seek-thermal-the-ultimate-thermal-camera-comparison/)
|
||||
- [Franka Research 3 官网](https://franka.de/franka-research-3)
|
||||
- [机器人臂价格指南 2026（SVRC）](https://www.roboticscenter.ai/learn/robot-arm-pricing-2026)
|
||||
- [Robotiq FT-300 力矩传感器](https://robotiq.com/products/ft-300-force-torque-sensor)
|
||||
- [六维力传感器国产替代深度报告（东方财富）](https://pdf.dfcfw.com/pdf/H3_AP202404151630231635_1.pdf)
|
||||
|
||||
超声感知（第 15 节）来源：
|
||||
- [TDK Chirp CH101 超声 ToF 传感器](https://invensense.tdk.com/en-us/news-media/press/tdk-announces-worldwide-availability-chirp-ch101-ultrasonic-tof-sensor-platform)
|
||||
- [TDK SmartSonic 超声 ToF 产品总览](https://product.tdk.com/en/techlibrary/productoverview/smart-sonic-products.html)
|
||||
- [PMUT 测距综述（PMC）](https://pmc.ncbi.nlm.nih.gov/articles/PMC9961946/)
|
||||
- [超声测厚原理（Elcometer）](https://www.elcometer.com/en/how-do-ultrasonic-ndt-thickness-gauges-work)
|
||||
- [EMAT 电磁超声测厚（Evident）](https://ims.evidentscientific.com/en/applications/thickness-boiler-tubes-emat-transducers)
|
||||
- [Evident/Olympus 38DL PLUS 测厚仪](https://ims.evidentscientific.com/en/insights/the-38dl-plus-ultrasonic-thickness-gauge-is-an-asset-to-asset-reliability-inspections)
|
||||
- [非接触超声回波 + 深度学习材质分类（ScienceDirect）](https://www.sciencedirect.com/science/article/pii/S1877050924007361)
|
||||
- [机器人超声材质识别（Wiley）](https://onlinelibrary.wiley.com/doi/10.1155/2023/1998218)
|
||||
- [双功能柔性超声阵列：接近觉+材质识别（Wiley）](https://onlinelibrary.wiley.com/doi/10.1002/rob.70225)
|
||||
- [奥迪威 Audiowell 官网（含材质识别/水下测距传感器）](https://www.audiowell.net/)
|
||||
- [汕头超声 ST-NDT 官网](https://www.st-ndt.com/)
|
||||
- [武汉中科创新（汉威）官网](https://www.zkcx.com/)
|
||||
@@ -0,0 +1,210 @@
|
||||
# 超声 + 机器学习 材质识别：深度子专题
|
||||
|
||||
> 定位：本篇是《多感官物体感知与触觉_方向综述.md》第 15 章"超声感知"的深化子专题，专注一个问题——**如何用超声回波 + 机器学习判别物体材质**。
|
||||
> 面向研究者，覆盖：物理可分性来源 → 信号与特征 → 模型方法谱系 → 机器人/具身应用 → 数据与流水线 → 核心挑战 → 与多感官框架的关系 → 未来方向。
|
||||
|
||||
---
|
||||
|
||||
## 1. 问题定义与范围
|
||||
|
||||
**任务**：给定超声换能器对目标物体发射脉冲并接收回波（或穿透信号），用模型推断该物体的**材质类别**（金属/塑料/木头/玻璃/海绵/布料……）或**材质物理属性**（声阻抗、弹性模量、黏弹性、厚度、分层）。
|
||||
|
||||
按耦合方式与几何分三种典型设置：
|
||||
|
||||
- **接触式脉冲回波**：探头贴合（需耦合剂），信噪比高，常见于 NDT 测厚/探伤，可顺带材质表征。
|
||||
- **非接触/空气耦合（air-coupled）脉冲回波**：探头隔空发射，最贴近"机器人隔空识材"的场景，但有严重阻抗失配（见 §2）。
|
||||
- **穿透 / 隔容器（through-transmission / through-container）**：一发一收夹住样品，或贴在容器外壁识别内部液体。
|
||||
|
||||
本篇重点是**用 ML 把回波里的材质信息解码出来**，尤其是非接触场景（与机器人/具身最相关）。
|
||||
|
||||
---
|
||||
|
||||
## 2. 为什么超声能区分材质：物理可分性来源
|
||||
|
||||
材质识别不是"黑盒玄学"，它有清晰的物理基础。三个材质相关量决定了回波长什么样：
|
||||
|
||||
### 2.1 声阻抗 Z = ρc 与反射/透射
|
||||
|
||||
声阻抗 `Z = 密度 ρ × 声速 c`。声波在两种介质界面上，**反射比例由两侧声阻抗失配决定**：失配越大，反射越强、透射越少。所以**回波幅度直接编码了"目标相对周围介质的声阻抗"**——金属（高 Z）和塑料（低 Z）的回波强度天然不同。
|
||||
|
||||
### 2.2 声速 c 因材质而异
|
||||
|
||||
声速取决于材料的弹性模量与密度（`c ≈ √(模量/ρ)`）。这使得**飞行时间（ToF）/到达时刻**携带材质信息，也是测厚（厚度=c·ToF/2）的基础。声速与"储能模量"相关。
|
||||
|
||||
### 2.3 频率相关衰减（attenuation）
|
||||
|
||||
材料对超声的吸收/散射随频率上升而增大，且**不同材质衰减差异显著**：塑料/复合材料衰减远高于金属（例：聚丙烯、PVDF 在 300kHz 约 2 dB/cm、500kHz 约 5 dB/cm）。衰减与"能量耗散和散射"相关——于是**回波的频谱形状、包络衰减速率**成为强判别特征。
|
||||
|
||||
### 2.4 空气耦合的"双刃剑"
|
||||
|
||||
非接触时空气声阻抗极低，固/气界面**只透射约 1% 能量**，整条路径相比水耦合可多损耗约 100 dB。坏处是信噪比差；**好处是这个损耗本身强烈依赖材质**（金属比塑料损耗更高），反而成了判别线索。空气在 ~2MHz 以上吸收急剧上升，故空气耦合换能器多在该频率以下工作。导波（如 A0 Lamb 模态）的频散（速度随频率变化）则提供额外的材质指纹。
|
||||
|
||||
> 小结：**幅度（声阻抗）、到达时间（声速）、频谱/衰减（吸收散射）、频散（导波）**——这四类物理量就是 ML 模型要从回波里"读"出来的可分性来源。理解它们，才能设计对的特征与不变性。
|
||||
|
||||
---
|
||||
|
||||
## 3. 测什么信号 / 信号形态
|
||||
|
||||
最原始的单通道回波叫 **A-scan**（幅度 vs 时间）。从中可提三类表征：
|
||||
|
||||
- **时域**：ToF、首回波幅度、**包络（Hilbert 变换取 envelope）**、多次回波间隔、衰减速率。
|
||||
- **频域**：功率谱、**衰减谱**（不同频率的损耗）、共振峰、谱质心。
|
||||
- **时频域**：STFT 频谱图（spectrogram）、**小波/小波包系数**——兼顾"何时"与"何频"，适合非平稳回波。
|
||||
|
||||
采集模式：脉冲回波（同侧）、穿透法（两侧）、隔容器（贴外壁，靠"壁后是否有液体改变反射系数"判别液体）。
|
||||
|
||||
---
|
||||
|
||||
## 4. 特征工程 vs 端到端：两条技术路线
|
||||
|
||||
### 4.1 手工特征 + 经典 ML
|
||||
|
||||
传统做法是先用信号处理提特征，再喂经典分类器：
|
||||
|
||||
- **EMD/IMF 特征**：经验模态分解得本征模态函数，提 16 维特征向量，喂 KNN/决策树/SVM；并配声学理论模型。显著提升机器人在**黑暗/粉尘/危险环境**下的材质识别能力。
|
||||
- **小波/小波包**：对非平稳回波提时频特征；衰减相关的连续小波变换（CWT）可区分不同热处理/硬度的钢。
|
||||
- **FFT + PCA 降维**：在频域提特征再降维，维持精度。
|
||||
- **统计/谱特征**：均值、方差、谱质心、过零率等。
|
||||
|
||||
经典分类器：**SVM（含 wavelet+SVM、EMD+SVM）、KNN、随机森林、决策树、Fuzzy ARTMAP**。
|
||||
|
||||
### 4.2 端到端深度学习
|
||||
|
||||
直接吃原始回波（或包络/频谱图），让网络自动学特征。**已被证明优于手工特征**：一项工作把 FFT/小波手工特征与 CNN 自动特征对比，CNN 端到端达 **0.982** 准确率，超过手工特征分类器。
|
||||
|
||||
---
|
||||
|
||||
## 5. 模型方法谱系与代表结果
|
||||
|
||||
| 方法 | 输入 | 任务/材料 | 结果 | 出处 |
|
||||
|------|------|-----------|------|------|
|
||||
| **1D-CNN**（Hilbert 包络） | 原始回波包络 | 玻璃/木/金属/海绵/布 5 类 | 准确率 96%、F1 95% | 非接触超声回波材质分类（Procedia CS 2024） |
|
||||
| **CNN vs 手工特征** | 原始信号 / FFT / 小波 | 超声信号分类 | CNN 端到端 0.982，胜手工特征 | Automated Classification via CNN（MDPI 2022） |
|
||||
| **DCNN + 小波 + SVM 顶层** | 小波系数 | 复合材料超声信号 | 紧凑表示 + 线性 SVM 分类 | Composite materials via DCNN（Neurocomputing 2017） |
|
||||
| **AE-CS-TCN**（注意力+时序卷积+跨尺度融合+交叉注意力） | 原始回波 | 机器人材质识别 | 联合学空间/时序/多尺度特征，机器人平台验证 | 非接触超声回波+DL（Signal Processing 2025） |
|
||||
| **EMD + SVM/KNN/决策树** | 16 维 IMF 特征 | 多材质 | 提升暗/尘/危险环境识别 | EMD+经典 ML |
|
||||
| **双模态超声系统** | 接近 + 材质 | 13 种工业材料 | **98% 分类、测距误差 <3mm**、毫秒级 | 双模态接近+材质 |
|
||||
| **柔性超声阵列** | 阵列回波 | 接近觉 + 材质 | 机器人安全控制 | 双功能柔性超声阵列（J. Field Robotics） |
|
||||
| **NN on 脉冲回波 / TOFD** | A-scan | 缺陷/状态分类 | 脉冲回波 72.5%、TOFD 77.5%，预处理后 TOFD→97.5% | ML 综述（J. Mech. Eng. 2025） |
|
||||
|
||||
**趋势**：从"手工特征 + SVM" → "1D-CNN 端到端" → "时序卷积 / 多尺度 / 注意力（TCN、AE-CS-TCN）"，并向**多模态融合**（超声 + 毫米波 + 视觉）演进。
|
||||
|
||||
---
|
||||
|
||||
## 6. 机器人与具身应用：把"识材"用起来
|
||||
|
||||
材质识别在机器人里最有价值的位置是 **pre-touch（预触觉）**——比远距视觉近、比接触触觉远，在"接触前的最后几厘米"给出几何 + 材质信息，避免接触触觉碰飞轻物、避免视觉对透明/暗光失效。
|
||||
|
||||
代表性工作（声学/超声 + 机器人）：
|
||||
|
||||
- **非接触超声回波 + DL 预触识材**：在配自研超声模块的机器人平台上，直接从原始回波联合学空间/时序/多尺度特征，做接触前材质识别（AE-CS-TCN）。
|
||||
- **Active Acoustic Sensing for Robot Manipulation**（[2308.01600](https://arxiv.org/abs/2308.01600)）：振动作动器 + 压电麦克风，利用**物体共振**（与材质/形状/内部结构/接触状态相关）感知；**对光照与自遮挡不敏感**，把局部接触与全局状态（形状、材质、抓取点、内部变化、外部接触）联系起来。
|
||||
- **SonicSense**（[2406.17932](https://arxiv.org/abs/2406.17932)）：从**手内声学振动**做物体感知（材质/几何），展示接触式声学感知的丰富信息。
|
||||
- **Acoustic Sensing for Universal Jamming Grippers**（[2603.00351](https://arxiv.org/abs/2603.00351)）：把声学感知用于颗粒阻塞夹爪。
|
||||
- **预抓取光谱夹爪**（[2207.00942](https://arxiv.org/abs/2207.00942)）：非超声但同思路——夹爪集成光谱，递归 SVM 在接近过程中逐步提升材质判别置信度。
|
||||
- **"海螺效应" pre-touch**：检测手指接近物体时**环境声共振频率漂移**，兼具测距与材质选择性。
|
||||
|
||||
工业/场景应用：
|
||||
|
||||
- **NDT**：缺陷探测 + 材质/微结构表征（热处理、硬度、焊缝）。
|
||||
- **隔容器液体识别**：贴容器外壁，靠**声速、衰减、密度、频率相关吸收**与"壁后反射系数"识别内部液体/混合状态（蜂蜜-水、面糊混合的"是否混匀"分类）。
|
||||
- **油气测井**：CNN 把声阻抗信号翻译成套管环空类型。
|
||||
- **分拣/回收、农业、食品**：非接触识材用于不透明系统的实时在线检测。
|
||||
|
||||
---
|
||||
|
||||
## 7. 数据与实验流水线
|
||||
|
||||
一条可复现的"超声 + ML 识材"流水线：
|
||||
|
||||
1. **硬件**（呼应综述第 14/15 章）：空气耦合换能器 / MEMS PMUT（如 TDK Chirp）/ 压电探头；可加阵列或多频。匹配层（气凝胶、PVDF、1-3 复合压电）对空气耦合信噪比至关重要。
|
||||
2. **数据采集**：**严格控制并记录距离、入射角、表面朝向、温度**（这些都会混入回波——见 §8）；用转台/导轨系统化扫描；每材质多样本多姿态。
|
||||
3. **预处理**：时间门控（gating）截取目标回波、去噪、**Hilbert 取包络**、幅度/能量归一化（抑制距离影响）。
|
||||
4. **特征 / 输入**：原始 A-scan、包络、频谱、或频谱图/小波系数（喂 2D-CNN）。
|
||||
5. **数据增强**：加噪、时移、幅度扰动、距离/角度合成。
|
||||
6. **模型与评估**：经典（SVM/RF）做基线，DL（1D-CNN/TCN/2D-CNN-spectrogram）做主力；务必做**留一材质/留一距离/留一传感器**的泛化评估，而非随机划分。
|
||||
7. **数据集**：公开的 **MatSense2025**（超声 + 毫米波多传感器，面向材质分类/NDT/传感器融合）可作起点；多数工作仍自采，缺乏统一基准。
|
||||
|
||||
---
|
||||
|
||||
## 8. 核心挑战（这是"更深"的关键）
|
||||
|
||||
超声识材在论文里准确率漂亮，但落地难，难在**回波把材质和一堆干扰因素纠缠在一起**：
|
||||
|
||||
- **距离依赖**：回波幅度随传播距离衰减，模型容易把"距离"误学成"材质"。需幅度归一化、距离不变特征或显式建模距离。
|
||||
- **角度/朝向/形状混淆**：曲面、斜入射改变回波结构，**几何与材质强耦合**——同一材质不同形状回波差异可能大于不同材质。
|
||||
- **表面粗糙度散射**：粗糙面散射使回波弥散，干扰频谱特征。
|
||||
- **温度漂移**：声速随温度变化，精密任务需温度补偿。
|
||||
- **跨传感器/跨频率泛化**：不同换能器、频率、带宽输出不可直接迁移（与触觉领域"跨传感器泛化"难题同源）。
|
||||
- **难测材质**：强吸声（海绵/泡沫）回波弱、镜面斜反射丢信号、极薄/多层结构难分辨。
|
||||
- **空气耦合低信噪比**：~1% 透射 + 空气高频吸收，远距更糟。
|
||||
- **对未见材质泛化与可解释性**：闭集分类易、开集/未见材质难；模型决策与物理量（Z、衰减）的对应需可解释性支撑。
|
||||
- **数据稀缺与缺基准**：公开数据集少、采集条件不统一，难横向比较；sim2real（声学仿真到真实）尚不成熟。
|
||||
|
||||
> 一句话：**让模型学"材质本身"而非"采集条件"，是这个方向真正的难点。** 距离/角度/温度/传感器不变的表示学习，是落地的关键。
|
||||
|
||||
---
|
||||
|
||||
## 9. 与多感官框架 / MultiPLY 的关系
|
||||
|
||||
- **互补定位**：超声识材是**接触前、非接触、可探次表面**的声学模态，补视觉（透明/暗光/遮挡）与触觉（须接触）的盲区，且比被动撞击声更可控（主动发射）。
|
||||
- **作为 pre-touch 决策**：在 MultiPLY 式具身 LLM 里，可设 `<probe>`（超声探测）动作 token 与"回波/距离/材质"状态 token，让智能体"先隔空扫一下材质，再决定要不要去摸/敲/抓"。
|
||||
- **多模态融合**：超声（材质/距离）+ 毫米波（穿透/距离）+ 视觉（外观）+ 视触觉（接触面）+ 撞击声（敲击后材质）天然互补；MatSense2025 的"超声+毫米波"即此思路。
|
||||
- **表示学习借鉴**：可借鉴触觉领域 UniTouch/TLV 的"跨传感器对齐"与"绑定到视觉/语言"，做**声学材质表示 → 对齐视觉/语言**，从而零样本识材或用语言描述材质。
|
||||
|
||||
---
|
||||
|
||||
## 10. 未来方向
|
||||
|
||||
- **跨距离/跨角度/跨传感器不变表示**：用对比学习/域泛化把"材质本质"与"采集条件"解耦。
|
||||
- **声学材质基础模型**：大规模多材质、多传感器、多距离数据上自监督预训练，做可迁移的超声材质 encoder。
|
||||
- **多模态融合与对齐**：超声 + 毫米波 + 视觉 + 触觉 + 语言的统一材质表示。
|
||||
- **可微声学仿真 + sim2real**：用可微/物理仿真造数据并做真实标定，缓解数据稀缺。
|
||||
- **面向具身的 pre-touch 策略**：把"何时探、探哪里、探完怎么决策"做成可学习的主动感知策略（接入 VLA/具身 LLM）。
|
||||
- **开集与可解释**：开放材质识别 + 把模型决策映射回声阻抗/衰减等物理量。
|
||||
- **统一基准**：建立公开、标准化、含干扰因素标注的超声材质识别 benchmark。
|
||||
|
||||
---
|
||||
|
||||
## 11. 参考与资源
|
||||
|
||||
### 机器人 / 具身声学感知
|
||||
- Active Acoustic Sensing for Robot Manipulation<https://arxiv.org/abs/2308.01600>
|
||||
- SonicSense: Object Perception from In-Hand Acoustic Vibration<https://arxiv.org/abs/2406.17932>
|
||||
- Acoustic Sensing for Universal Jamming Grippers<https://arxiv.org/abs/2603.00351>
|
||||
- Pregrasp Object Material Classification with Integrated Spectroscopy<https://arxiv.org/abs/2207.00942>
|
||||
|
||||
### 超声回波 + ML 材质/信号分类
|
||||
- Material Classification based on Non-contact Ultrasonic Echo Signal Using Deep Learning (1D-CNN, 96%)<https://www.sciencedirect.com/science/article/pii/S1877050924007361>
|
||||
- A non-contact material recognition method using ultrasonic echo signals and deep learning (AE-CS-TCN, 2025)<https://www.sciencedirect.com/science/article/abs/pii/S0165168425005249>
|
||||
- Automated Classification of Ultrasonic Signal via CNN (0.982, MDPI 2022)<https://www.mdpi.com/2076-3417/12/9/4179>
|
||||
- Ultrasonic signal classification for composite materials via deep CNN (Neurocomputing 2017)<https://www.sciencedirect.com/science/article/abs/pii/S0925231217301522>
|
||||
- Surrounding Object Material Detection and Identification for Robots Based on Ultrasonic Echo (Wiley 2023)<https://onlinelibrary.wiley.com/doi/10.1155/2023/1998218>
|
||||
- Dual-Functional Flexible Ultrasonic Sensor Array: Proximity + Material Recognition (J. Field Robotics)<https://onlinelibrary.wiley.com/doi/10.1002/rob.70225>
|
||||
- Machine learning in ultrasonics-based defect detection and material characterization: a review (2025)<https://journals.sagepub.com/doi/10.1177/16878132251347390>
|
||||
|
||||
### 物理与空气耦合
|
||||
- Review of air-coupled ultrasonic materials characterization (Ultrasonics)<https://www.sciencedirect.com/science/article/abs/pii/S0041624X14000377>
|
||||
- Air-coupled Ultrasound – A Millennial Review<https://www.ndt.net/article/wcndt00/papers/idn507/idn507.htm>
|
||||
|
||||
### 数据集
|
||||
- MatSense2025: Multi-Sensor Dataset of Ultrasonic and mmWave for Material Classification<https://ieee-dataport.org/documents/multi-sensor-dataset-ultrasonic-and-mmwave-material-classification-matsense2025>
|
||||
|
||||
---
|
||||
|
||||
## 来源（Sources）
|
||||
|
||||
- [非接触超声回波 1D-CNN 材质分类 (Procedia CS 2024)](https://www.sciencedirect.com/science/article/pii/S1877050924007361)
|
||||
- [超声回波 + 深度学习材质识别 AE-CS-TCN (Signal Processing 2025)](https://www.sciencedirect.com/science/article/abs/pii/S0165168425005249)
|
||||
- [CNN 自动分类超声信号 0.982 (MDPI Applied Sciences 2022)](https://www.mdpi.com/2076-3417/12/9/4179)
|
||||
- [复合材料超声信号 DCNN (Neurocomputing 2017)](https://www.sciencedirect.com/science/article/abs/pii/S0925231217301522)
|
||||
- [机器人超声回波材质识别 (Wiley 2023)](https://onlinelibrary.wiley.com/doi/10.1155/2023/1998218)
|
||||
- [双功能柔性超声阵列：接近+材质 (Wiley J. Field Robotics)](https://onlinelibrary.wiley.com/doi/10.1002/rob.70225)
|
||||
- [超声 ML 缺陷检测与材质表征综述 (2025)](https://journals.sagepub.com/doi/10.1177/16878132251347390)
|
||||
- [Active Acoustic Sensing for Robot Manipulation (2308.01600)](https://arxiv.org/abs/2308.01600)
|
||||
- [SonicSense (2406.17932)](https://arxiv.org/abs/2406.17932)
|
||||
- [Acoustic Sensing for Universal Jamming Grippers (2603.00351)](https://arxiv.org/abs/2603.00351)
|
||||
- [Pregrasp Material Classification with Spectroscopy (2207.00942)](https://arxiv.org/abs/2207.00942)
|
||||
- [空气耦合超声材质表征综述 (Ultrasonics)](https://www.sciencedirect.com/science/article/abs/pii/S0041624X14000377)
|
||||
- [Air-coupled Ultrasound 综述 (NDT.net)](https://www.ndt.net/article/wcndt00/papers/idn507/idn507.htm)
|
||||
- [MatSense2025 数据集 (IEEE DataPort)](https://ieee-dataport.org/documents/multi-sensor-dataset-ultrasonic-and-mmwave-material-classification-matsense2025)
|
||||
@@ -0,0 +1,203 @@
|
||||
# 连续（非 Token）模型：面向空间与时间的模型与理论
|
||||
|
||||
> 主题：不把世界切成离散 token / 网格，而是用**连续函数 / 连续动力学**来建模——尤其针对**空间**与**时间**。
|
||||
> 覆盖四大家族：① 连续空间表示（神经场）② 连续时间动力学（Neural ODE 族）③ 算子学习 / 物理时空（Neural Operator）④ 非 Token 预测架构 / 世界模型（JEPA 族）。
|
||||
> 面向研究者；与本目录 world-model / 具身 / 多感官研究相呼应。
|
||||
|
||||
---
|
||||
|
||||
## 1. 动机：为什么要"非 Token、连续"
|
||||
|
||||
主流大模型（Transformer/LLM）的范式是**离散化**：把图像切 patch、把序列切 token、把空间切体素网格，再在离散符号上做注意力。这种"tokenization"在语言上极成功，但对**连续的物理世界（空间几何、时间演化）**有几处先天不适：
|
||||
|
||||
- **分辨率受限 / 网格伪影**：体素/像素网格的精度被离散步长锁死，内存随分辨率立方增长。
|
||||
- **丢失连续性与导数**：物理信号常以微分方程定义，token 化难以表达"在任意点的值及其空间/时间导数"。
|
||||
- **不规则采样难处理**：真实传感器是异步、非均匀采样的，离散步进模型（RNN/Transformer）天然假设等间隔。
|
||||
- **重建无关细节的浪费**：像素级生成式模型被迫预测大量与任务无关的高频细节。
|
||||
|
||||
**连续模型**的共同主张：**用一个神经网络去参数化一个连续对象**——空间上的场 `f(x)`、时间上的轨迹 `dz/dt = f(z,t)`、函数空间之间的算子 `G: a(·)↦u(·)`、或抽象潜在空间里的预测。由此获得**分辨率无关、可微（可取导数）、能处理不规则采样、可嵌入物理先验**等好处。
|
||||
|
||||
> 一句话：**Token 把世界离散成符号；连续模型把世界参数化成函数与流。**
|
||||
|
||||
---
|
||||
|
||||
## 2. 总览：四大家族一张图
|
||||
|
||||
```
|
||||
"用神经网络参数化一个连续对象"
|
||||
┌──────────────┬───────────────┬────────────────┬──────────────────┐
|
||||
│ ① 连续空间 │ ② 连续时间 │ ③ 算子学习 │ ④ 非Token预测 │
|
||||
│ 神经场 │ 动力学 │ /物理时空 │ /世界模型 │
|
||||
│ f(x)=值 │ dz/dt=f(z,t) │ G:a(·)↦u(·) │ 在潜在空间预测 │
|
||||
│ NeRF/SIREN │ Neural ODE │ FNO/DeepONet │ JEPA/V-JEPA2 │
|
||||
│ DeepSDF/GS │ CDE/SDE/LTC │ PINN/算子 │ DINO-WM │
|
||||
│ 空间连续 │ 时间连续 │ 函数空间连续 │ 表示空间连续 │
|
||||
└──────────────┴───────────────┴────────────────┴──────────────────┘
|
||||
```
|
||||
|
||||
四者的"连续"作用在不同对象上：①空间坐标 → ②时间 → ③整个函数（输入/输出都是函数）→ ④抽象表示空间。下面逐一展开。
|
||||
|
||||
---
|
||||
|
||||
## 3. 家族一：连续空间表示 / 神经场（Neural Fields / INR）
|
||||
|
||||
**核心思想**：用一个 MLP 把**连续坐标**映射到**信号值**——`f_θ(x, y, z, [方向/时间]) → (颜色/密度/占据/距离…)`。物体/场景不再存成网格，而是存成"网络权重"，可在任意分辨率查询。
|
||||
|
||||
代表工作：
|
||||
|
||||
- **Occupancy Networks**（CVPR 2019，[1812.03828](https://arxiv.org/abs/1812.03828)）：把形状表示为连续**占据概率函数** `o(x)∈[0,1]`，无限分辨率、内存友好。
|
||||
- **DeepSDF**（CVPR 2019，[1901.05103](https://arxiv.org/abs/1901.05103)）：学习连续**有符号距离函数（SDF）**，零等值面即表面；用 latent code 表示一整类形状。
|
||||
- **SIREN**（NeurIPS 2020，[2006.09661](https://arxiv.org/abs/2006.09661)）：用**周期激活函数（sin）**的 MLP 表示连续可微信号，关键性质是**任意阶导数仍是 SIREN**（sin 的导数是 cos），因此特别适合表示信号的空间/时间导数、求解 Eikonal/Poisson/Helmholtz/波动等 PDE。
|
||||
- **NeRF**（ECCV 2020，[2003.08934](https://arxiv.org/abs/2003.08934)）：把 3D 场景表示为连续**辐射场** `(x,方向)→(颜色,密度)`，配可微体渲染做新视角合成；引爆了"神经场"研究。
|
||||
- **3D Gaussian Splatting**（SIGGRAPH 2023，[2308.04079](https://arxiv.org/abs/2308.04079)）：把场景表示为一堆各向异性 3D 高斯（显式、可栅格化），实时渲染。它**保留了连续体积辐射场的优良性质，却用显式基元规避空白区计算**——是"连续 vs 显式"张力的代表性折中。
|
||||
- **动态/4D 扩展**：把空间场再加时间轴。如 **D-NeRF**（[2011.13961](https://arxiv.org/abs/2011.13961)）用形变场建模动态场景；**NeRFPlayer**（[2210.15947](https://arxiv.org/abs/2210.15947)）按静态/形变/新增区域分解 4D 时空；**4D Gaussian Splatting**（CVPR 2024）把 3DGS 扩到动态。
|
||||
|
||||
> 与本目录研究的连接：**ObjectFolder**（多感官物体数据集，见《多感官…综述》）正是用**隐式神经场**（VisionNet/AudioNet/TouchNet）表示视/听/触——它就是"神经场 + 多感官"的典范。
|
||||
|
||||
---
|
||||
|
||||
## 4. 家族二：连续时间动力学（Neural ODE 族）
|
||||
|
||||
**核心思想**：不再堆叠离散层 / 离散时间步，而是把隐状态的**演化**写成微分方程，用 ODE 求解器积分——**深度/时间变成连续变量**。
|
||||
|
||||
代表工作：
|
||||
|
||||
- **Neural ODE**（NeurIPS 2018，[1806.07366](https://arxiv.org/abs/1806.07366)）：把隐状态导数参数化为网络 `dh/dt = f_θ(h,t)`，用黑盒 ODE 求解器前向、**伴随法（adjoint）**反传；常数内存、可在精度与速度间权衡。是"连续深度"的奠基。
|
||||
- **Latent ODE / ODE-RNN**（NeurIPS 2019，[1907.03907](https://arxiv.org/abs/1907.03907)）：编码器（RNN/GRU）得初始潜状态，再用 Neural ODE 在潜空间演化——**天然处理不规则采样时间序列**，可在任意时刻插值/预测。
|
||||
- **Neural CDE**（NeurIPS 2020，[2005.08926](https://arxiv.org/abs/2005.08926)）：Neural ODE 的解只由初值决定、无法吸收后续观测；CDE 用"受控微分方程"让轨迹**持续响应到来的数据流**，是"连续时间 RNN"，擅长部分观测/不规则多元时间序列。
|
||||
- **Neural SDE**：加入随机项，做生成式建模与不确定性量化。
|
||||
- **Liquid Time-Constant Networks（LTC）**（AAAI 2021，[2006.04439](https://arxiv.org/abs/2006.04439)）：连续时间、时间常数可变的 ODE-RNN，稳定有界、表达力强，时间序列预测表现好。
|
||||
- **CfC（Closed-form Continuous-time）**（[2106.13898](https://arxiv.org/abs/2106.13898)）：给出 LTC 的**闭式解**，**无需 ODE 求解器**即可推理，大幅提速；训练好的 LTC 可"编译"为 CfC。
|
||||
- **S4 / 结构化状态空间**（ICLR 2022，[2111.00396](https://arxiv.org/abs/2111.00396)）：底层是**连续时间状态空间模型** `dx/dt=Ax+Bu, y=Cx+Du`，再离散化；以低秩修正稳定对角化高效计算，擅长超长程依赖（首个攻克 Path-X 16k）。其后继 **Mamba** 引入选择性机制——可视为"连续时间 SSM"到现代序列模型的桥梁。
|
||||
|
||||
> 直觉：ResNet 是 Neural ODE 的离散欧拉近似；RNN 是连续时间动力学的离散采样。连续时间模型把这些"步数"还给了微积分。
|
||||
|
||||
---
|
||||
|
||||
## 5. 家族三：算子学习 / 物理时空（Neural Operators）
|
||||
|
||||
**核心思想**：前两家族学的是"函数"（坐标→值）或"轨迹"，而算子学习直接学**函数到函数的映射**（无穷维 → 无穷维），即 PDE 的**解算子** `G: 参数/初值/边界函数 a(·) ↦ 解函数 u(·)`。关键性质是**离散无关（mesh-independent）**：训练后可在任意网格/分辨率上评估，零样本超分辨。
|
||||
|
||||
代表工作：
|
||||
|
||||
- **PINN（物理信息神经网络）**（Raissi 等 2017，[1711.10561](https://arxiv.org/abs/1711.10561)；JCP 2019）：把 PDE 残差作为损失约束，让网络在满足数据的同时**遵守物理定律**；分连续时间与离散时间两类。局限：换参数/初值要重训（学的是"某一个解"而非"算子"）。
|
||||
- **DeepONet**（[1910.03193](https://arxiv.org/abs/1910.03193)；Nature MI 2021）：基于**算子万能逼近定理**，用 **branch 网（编码输入函数在传感点的采样）+ trunk 网（编码输出位置）**学非线性算子；可一次学一族 PDE。
|
||||
- **FNO（傅里叶神经算子）**（ICLR 2021，[2010.08895](https://arxiv.org/abs/2010.08895)）：把积分核**直接在傅里叶空间参数化**（FFT→低频模态线性变换→逆 FFT），高效捕捉非局部相关；首个零样本超分辨建模湍流，比传统求解器快达三个数量级。FNO-3D 直接在"空间×时间"上做卷积。
|
||||
- **变体生态**：Geo-FNO（[2207.05209](https://arxiv.org/abs/2207.05209)，复杂几何）、Graph/Multipole Neural Operator、L-DeepONet（潜空间）、通用 Neural Operator 理论框架等。
|
||||
|
||||
> 与本目录的连接：算子学习是**可微物理仿真 / 世界模型的"物理引擎"候选**——比如把流体/接触动力学学成一个快速可微算子，正好契合具身世界模型对"快而准的动力学预测"的需求。
|
||||
|
||||
---
|
||||
|
||||
## 6. 家族四：非 Token 预测架构 / 世界模型（JEPA 族）
|
||||
|
||||
**核心思想**：不在像素/token 层面重建，而是**在抽象表示（潜在）空间里做预测**——预测"被遮挡/未来部分的表示"，从而聚焦高层本质、忽略不可预测的无关细节。这是 LeCun 对"自主机器智能"的核心主张。
|
||||
|
||||
代表工作：
|
||||
|
||||
- **LeCun《A Path Towards Autonomous Machine Intelligence》**（2022，立场论文）：提出以**世界模型**为核心的认知架构蓝图，JEPA 作为其世界模型模块；理论上可视为在**表示空间上的能量模型（EBM）**。
|
||||
- **I-JEPA**（CVPR 2023，[2301.08243](https://arxiv.org/abs/2301.08243)）：图像版——从可见 patch 的表示预测被遮挡区域的**表示**（而非像素）；高效且表征强（632M ViT，16×A100，<72h，ImageNet 低样本 SOTA）。
|
||||
- **V-JEPA**（2024）：视频版，特征预测学习视频表示。
|
||||
- **V-JEPA 2**（2025，[2506.09985](https://arxiv.org/abs/2506.09985)）：在 >100 万小时视频上自监督预训练**动作无关**的视频世界模型，再用极少机器人交互数据（<62h Droid）训练**动作条件预测器 V-JEPA 2-AC**，在 MPC 框架下做**零样本机器人规划**（抓取/搬运成功率显著超过 VLA 基线 Octo）。这是 JEPA 从"表示学习"走向"可规划世界模型"的关键一步。
|
||||
- **DINO-WM**（ICML 2025，[2411.04983](https://arxiv.org/abs/2411.04983)）：在 **DINOv2 预训练 patch 特征**的连续潜空间里建模动态、预测未来潜表示（不重建像素），用 CEM 做零样本规划；在迷宫/推物等任务零样本求解。
|
||||
- **seq-JEPA**（[2505.03176](https://arxiv.org/abs/2505.03176)）：把 JEPA 与序列处理归纳偏置结合，同时学等变与不变表示。
|
||||
|
||||
> 注意：JEPA 的"连续"指的是**在连续/稠密的表示空间里预测**（非离散 token、非像素重建），与前三家族的"空间/时间连续"是不同维度上的"非 Token"。它与具身世界模型（V-JEPA 2、DINO-WM）直接相关。
|
||||
|
||||
**相关的连续生成线**：**Flow Matching**（ICLR 2023，[2210.02747](https://arxiv.org/abs/2210.02747)）用连续归一化流（CNF）学连续概率路径的向量场，是扩散的连续时间推广——常作为连续潜在世界模型/生成式动力学的训练工具。
|
||||
|
||||
---
|
||||
|
||||
## 7. 理论主线：四家族其实在说同一件事
|
||||
|
||||
把四者放在一起，能看到一条统一线索——**把"离散堆叠/网格"替换为"连续数学对象 + 神经参数化"**：
|
||||
|
||||
- **微分方程视角**：ResNet ≈ Neural ODE 的离散欧拉步；RNN ≈ 连续时间动力学的采样；S4/Mamba 底层是连续时间 SSM 的离散化。**深度与时间都可连续化**。
|
||||
- **函数 / 场视角**：神经场把"信号"看成坐标的连续函数；算子学习把"映射"看成函数空间之间的连续算子。SIREN 既是神经场又能解 PDE，**正好是家族①与③的交汇**。
|
||||
- **物理先验视角**：PINN 把 PDE 写进损失；FNO/DeepONet 把 PDE 解算子学出来；SIREN/神经场天然可微以满足 PDE——三者都在**让网络尊重连续物理**。
|
||||
- **预测目标视角**：JEPA 把"预测"从像素/token 移到连续表示空间——**用连续表示而非离散符号做世界建模**。
|
||||
- **可微性这条暗线**：连续 ⇒ 可取导数 ⇒ 可做梯度规划、可嵌物理约束、可微仿真。这是它们对**世界模型 / 控制 / 科学计算**特别有吸引力的根本原因。
|
||||
|
||||
---
|
||||
|
||||
## 8. 与你的研究（world model / 具身 / 多感官）的关系
|
||||
|
||||
- **连续世界模型已成主流候选**：V-JEPA 2、DINO-WM 证明"在连续潜空间预测 + 规划"可做零样本机器人控制——这正是 MultiPLY 式具身智能体可借鉴的"非 token、可规划"路线。
|
||||
- **神经场 = 多感官物体的连续容器**：ObjectFolder 的隐式神经表示就是神经场；超声/触觉/声场都可用连续场建模（连续而非逐点采样）。
|
||||
- **连续时间 = 多模态异步融合的天然工具**：视/触/听/超声采样率不同、异步到达，Neural CDE/Latent ODE 能在连续时间轴上对齐与融合不规则采样的多感官流。
|
||||
- **算子学习 = 具身世界模型的物理引擎**：接触动力学、声波传播（超声/撞击声）都可学成可微算子，用于快速预测与规划。
|
||||
- **可微贯穿全栈**：连续表示让"感知→预测→规划"可端到端求导，契合具身闭环。
|
||||
|
||||
---
|
||||
|
||||
## 9. 连续 vs Token：权衡与开放问题
|
||||
|
||||
**连续模型的优势**：分辨率无关、可微、可取导数、处理不规则采样、嵌入物理先验、表示紧凑、避免重建无关细节。
|
||||
|
||||
**代价与开放问题**：
|
||||
|
||||
- **训练/推理成本**：ODE 求解器慢（CfC 用闭式解缓解）；神经场逐场景优化慢（GS 用显式基元加速）。
|
||||
- **可扩展性与工程生态**：Token/Transformer 有成熟的硬件与扩展规律（scaling laws），连续模型的大规模扩展与稳定训练仍在早期（JEPA 易表示坍塌、需 EMA/复杂损失）。
|
||||
- **离散 vs 连续的回摆**：3D Gaussian Splatting（显式）反超 NeRF（隐式连续）、Mamba（离散选择性）源自连续 SSM——说明"纯连续"并非总最优，**混合（连续性质 + 显式/离散效率）**往往胜出。
|
||||
- **理论保证**：算子学习有逼近定理，但连续世界模型的可规划性、泛化、稳定性理论仍不完善。
|
||||
- **统一框架缺失**：四家族目前各自为政，缺一个把"空间连续 + 时间连续 + 函数空间 + 表示预测"统一起来的框架。
|
||||
|
||||
---
|
||||
|
||||
## 10. 论文与资源清单
|
||||
|
||||
### ① 连续空间表示 / 神经场
|
||||
- Occupancy Networks（CVPR 2019）<https://arxiv.org/abs/1812.03828>
|
||||
- DeepSDF（CVPR 2019）<https://arxiv.org/abs/1901.05103>
|
||||
- SIREN（NeurIPS 2020）<https://arxiv.org/abs/2006.09661>
|
||||
- NeRF（ECCV 2020）<https://arxiv.org/abs/2003.08934>
|
||||
- 3D Gaussian Splatting（SIGGRAPH 2023）<https://arxiv.org/abs/2308.04079>
|
||||
- D-NeRF（动态）<https://arxiv.org/abs/2011.13961> ／ NeRFPlayer（4D）<https://arxiv.org/abs/2210.15947>
|
||||
|
||||
### ② 连续时间动力学
|
||||
- Neural ODE（NeurIPS 2018）<https://arxiv.org/abs/1806.07366>
|
||||
- Latent ODE / ODE-RNN（NeurIPS 2019）<https://arxiv.org/abs/1907.03907>
|
||||
- Neural CDE（NeurIPS 2020）<https://arxiv.org/abs/2005.08926>
|
||||
- Liquid Time-Constant Networks（AAAI 2021）<https://arxiv.org/abs/2006.04439>
|
||||
- CfC 闭式连续时间网络<https://arxiv.org/abs/2106.13898>
|
||||
- S4 结构化状态空间（ICLR 2022）<https://arxiv.org/abs/2111.00396>
|
||||
|
||||
### ③ 算子学习 / 物理时空
|
||||
- PINN（2017）<https://arxiv.org/abs/1711.10561>
|
||||
- DeepONet（2019）<https://arxiv.org/abs/1910.03193>
|
||||
- FNO 傅里叶神经算子（ICLR 2021）<https://arxiv.org/abs/2010.08895>
|
||||
- Geo-FNO（复杂几何）<https://arxiv.org/abs/2207.05209>
|
||||
|
||||
### ④ 非 Token 预测架构 / 世界模型
|
||||
- I-JEPA（CVPR 2023）<https://arxiv.org/abs/2301.08243>
|
||||
- V-JEPA 2（2025，机器人世界模型）<https://arxiv.org/abs/2506.09985>
|
||||
- DINO-WM（ICML 2025）<https://arxiv.org/abs/2411.04983>
|
||||
- seq-JEPA<https://arxiv.org/abs/2505.03176>
|
||||
- Flow Matching（ICLR 2023，连续生成）<https://arxiv.org/abs/2210.02747>
|
||||
|
||||
---
|
||||
|
||||
## 来源（Sources）
|
||||
|
||||
- [Occupancy Networks (1812.03828)](https://arxiv.org/abs/1812.03828)
|
||||
- [DeepSDF (1901.05103)](https://arxiv.org/abs/1901.05103)
|
||||
- [SIREN (2006.09661)](https://arxiv.org/abs/2006.09661)
|
||||
- [NeRF (2003.08934)](https://arxiv.org/abs/2003.08934)
|
||||
- [3D Gaussian Splatting (2308.04079)](https://arxiv.org/abs/2308.04079)
|
||||
- [D-NeRF (2011.13961)](https://arxiv.org/abs/2011.13961)
|
||||
- [NeRFPlayer (2210.15947)](https://arxiv.org/abs/2210.15947)
|
||||
- [Neural ODE (1806.07366)](https://arxiv.org/abs/1806.07366)
|
||||
- [Latent ODE / ODE-RNN (1907.03907)](https://arxiv.org/abs/1907.03907)
|
||||
- [Neural CDE (2005.08926)](https://arxiv.org/abs/2005.08926)
|
||||
- [Liquid Time-Constant Networks (2006.04439)](https://arxiv.org/abs/2006.04439)
|
||||
- [CfC (2106.13898)](https://arxiv.org/abs/2106.13898)
|
||||
- [S4 (2111.00396)](https://arxiv.org/abs/2111.00396)
|
||||
- [PINN (1711.10561)](https://arxiv.org/abs/1711.10561)
|
||||
- [DeepONet (1910.03193)](https://arxiv.org/abs/1910.03193)
|
||||
- [FNO (2010.08895)](https://arxiv.org/abs/2010.08895)
|
||||
- [Geo-FNO (2207.05209)](https://arxiv.org/abs/2207.05209)
|
||||
- [I-JEPA (2301.08243)](https://arxiv.org/abs/2301.08243)
|
||||
- [V-JEPA 2 (2506.09985)](https://arxiv.org/abs/2506.09985)
|
||||
- [DINO-WM (2411.04983)](https://arxiv.org/abs/2411.04983)
|
||||
- [seq-JEPA (2505.03176)](https://arxiv.org/abs/2505.03176)
|
||||
- [Flow Matching (2210.02747)](https://arxiv.org/abs/2210.02747)
|
||||
Reference in New Issue
Block a user