gaojie
17 KiB
17 KiB
超声 + 机器学习 材质识别：深度子专题
定位：本篇是《多感官物体感知与触觉_方向综述.md》第 15 章"超声感知"的深化子专题，专注一个问题——如何用超声回波 + 机器学习判别物体材质。 面向研究者，覆盖：物理可分性来源 → 信号与特征 → 模型方法谱系 → 机器人/具身应用 → 数据与流水线 → 核心挑战 → 与多感官框架的关系 → 未来方向。
1. 问题定义与范围
任务：给定超声换能器对目标物体发射脉冲并接收回波（或穿透信号），用模型推断该物体的材质类别（金属/塑料/木头/玻璃/海绵/布料……）或材质物理属性（声阻抗、弹性模量、黏弹性、厚度、分层）。
按耦合方式与几何分三种典型设置：
- 接触式脉冲回波：探头贴合（需耦合剂），信噪比高，常见于 NDT 测厚/探伤，可顺带材质表征。
- 非接触/空气耦合（air-coupled）脉冲回波：探头隔空发射，最贴近"机器人隔空识材"的场景，但有严重阻抗失配（见 §2）。
- 穿透 / 隔容器（through-transmission / through-container）：一发一收夹住样品，或贴在容器外壁识别内部液体。
本篇重点是用 ML 把回波里的材质信息解码出来，尤其是非接触场景（与机器人/具身最相关）。
2. 为什么超声能区分材质：物理可分性来源
材质识别不是"黑盒玄学"，它有清晰的物理基础。三个材质相关量决定了回波长什么样：
2.1 声阻抗 Z = ρc 与反射/透射
声阻抗 Z = 密度 ρ × 声速 c。声波在两种介质界面上，反射比例由两侧声阻抗失配决定：失配越大，反射越强、透射越少。所以回波幅度直接编码了"目标相对周围介质的声阻抗"——金属（高 Z）和塑料（低 Z）的回波强度天然不同。
2.2 声速 c 因材质而异
声速取决于材料的弹性模量与密度（c ≈ √(模量/ρ)）。这使得飞行时间（ToF）/到达时刻携带材质信息，也是测厚（厚度=c·ToF/2）的基础。声速与"储能模量"相关。
2.3 频率相关衰减（attenuation）
材料对超声的吸收/散射随频率上升而增大，且不同材质衰减差异显著：塑料/复合材料衰减远高于金属（例：聚丙烯、PVDF 在 300kHz 约 2 dB/cm、500kHz 约 5 dB/cm）。衰减与"能量耗散和散射"相关——于是回波的频谱形状、包络衰减速率成为强判别特征。
2.4 空气耦合的"双刃剑"
非接触时空气声阻抗极低，固/气界面只透射约 1% 能量，整条路径相比水耦合可多损耗约 100 dB。坏处是信噪比差；好处是这个损耗本身强烈依赖材质（金属比塑料损耗更高），反而成了判别线索。空气在 ~2MHz 以上吸收急剧上升，故空气耦合换能器多在该频率以下工作。导波（如 A0 Lamb 模态）的频散（速度随频率变化）则提供额外的材质指纹。
小结：幅度（声阻抗）、到达时间（声速）、频谱/衰减（吸收散射）、频散（导波）——这四类物理量就是 ML 模型要从回波里"读"出来的可分性来源。理解它们，才能设计对的特征与不变性。
3. 测什么信号 / 信号形态
最原始的单通道回波叫 A-scan（幅度 vs 时间）。从中可提三类表征：
- 时域：ToF、首回波幅度、包络（Hilbert 变换取 envelope）、多次回波间隔、衰减速率。
- 频域：功率谱、衰减谱（不同频率的损耗）、共振峰、谱质心。
- 时频域：STFT 频谱图（spectrogram）、小波/小波包系数——兼顾"何时"与"何频"，适合非平稳回波。
采集模式：脉冲回波（同侧）、穿透法（两侧）、隔容器（贴外壁，靠"壁后是否有液体改变反射系数"判别液体）。
4. 特征工程 vs 端到端：两条技术路线
4.1 手工特征 + 经典 ML
传统做法是先用信号处理提特征，再喂经典分类器：
- EMD/IMF 特征：经验模态分解得本征模态函数，提 16 维特征向量，喂 KNN/决策树/SVM；并配声学理论模型。显著提升机器人在黑暗/粉尘/危险环境下的材质识别能力。
- 小波/小波包：对非平稳回波提时频特征；衰减相关的连续小波变换（CWT）可区分不同热处理/硬度的钢。
- FFT + PCA 降维：在频域提特征再降维，维持精度。
- 统计/谱特征：均值、方差、谱质心、过零率等。
经典分类器：SVM（含 wavelet+SVM、EMD+SVM）、KNN、随机森林、决策树、Fuzzy ARTMAP。
4.2 端到端深度学习
直接吃原始回波（或包络/频谱图），让网络自动学特征。已被证明优于手工特征：一项工作把 FFT/小波手工特征与 CNN 自动特征对比，CNN 端到端达 0.982 准确率，超过手工特征分类器。
5. 模型方法谱系与代表结果
| 方法 | 输入 | 任务/材料 | 结果 | 出处 |
|---|---|---|---|---|
| 1D-CNN（Hilbert 包络） | 原始回波包络 | 玻璃/木/金属/海绵/布 5 类 | 准确率 96%、F1 95% | 非接触超声回波材质分类（Procedia CS 2024） |
| CNN vs 手工特征 | 原始信号 / FFT / 小波 | 超声信号分类 | CNN 端到端 0.982，胜手工特征 | Automated Classification via CNN（MDPI 2022） |
| DCNN + 小波 + SVM 顶层 | 小波系数 | 复合材料超声信号 | 紧凑表示 + 线性 SVM 分类 | Composite materials via DCNN（Neurocomputing 2017） |
| AE-CS-TCN（注意力+时序卷积+跨尺度融合+交叉注意力） | 原始回波 | 机器人材质识别 | 联合学空间/时序/多尺度特征，机器人平台验证 | 非接触超声回波+DL（Signal Processing 2025） |
| EMD + SVM/KNN/决策树 | 16 维 IMF 特征 | 多材质 | 提升暗/尘/危险环境识别 | EMD+经典 ML |
| 双模态超声系统 | 接近 + 材质 | 13 种工业材料 | 98% 分类、测距误差 <3mm、毫秒级 | 双模态接近+材质 |
| 柔性超声阵列 | 阵列回波 | 接近觉 + 材质 | 机器人安全控制 | 双功能柔性超声阵列（J. Field Robotics） |
| NN on 脉冲回波 / TOFD | A-scan | 缺陷/状态分类 | 脉冲回波 72.5%、TOFD 77.5%，预处理后 TOFD→97.5% | ML 综述（J. Mech. Eng. 2025） |
趋势：从"手工特征 + SVM" → "1D-CNN 端到端" → "时序卷积 / 多尺度 / 注意力（TCN、AE-CS-TCN）"，并向多模态融合（超声 + 毫米波 + 视觉）演进。
6. 机器人与具身应用：把"识材"用起来
材质识别在机器人里最有价值的位置是 pre-touch（预触觉）——比远距视觉近、比接触触觉远，在"接触前的最后几厘米"给出几何 + 材质信息，避免接触触觉碰飞轻物、避免视觉对透明/暗光失效。
代表性工作（声学/超声 + 机器人）：
- 非接触超声回波 + DL 预触识材：在配自研超声模块的机器人平台上，直接从原始回波联合学空间/时序/多尺度特征，做接触前材质识别（AE-CS-TCN）。
- Active Acoustic Sensing for Robot Manipulation（2308.01600）：振动作动器 + 压电麦克风，利用物体共振（与材质/形状/内部结构/接触状态相关）感知；对光照与自遮挡不敏感，把局部接触与全局状态（形状、材质、抓取点、内部变化、外部接触）联系起来。
- SonicSense（2406.17932）：从手内声学振动做物体感知（材质/几何），展示接触式声学感知的丰富信息。
- Acoustic Sensing for Universal Jamming Grippers（2603.00351）：把声学感知用于颗粒阻塞夹爪。
- 预抓取光谱夹爪（2207.00942）：非超声但同思路——夹爪集成光谱，递归 SVM 在接近过程中逐步提升材质判别置信度。
- "海螺效应" pre-touch：检测手指接近物体时环境声共振频率漂移，兼具测距与材质选择性。
工业/场景应用：
- NDT：缺陷探测 + 材质/微结构表征（热处理、硬度、焊缝）。
- 隔容器液体识别：贴容器外壁，靠声速、衰减、密度、频率相关吸收与"壁后反射系数"识别内部液体/混合状态（蜂蜜-水、面糊混合的"是否混匀"分类）。
- 油气测井：CNN 把声阻抗信号翻译成套管环空类型。
- 分拣/回收、农业、食品：非接触识材用于不透明系统的实时在线检测。
7. 数据与实验流水线
一条可复现的"超声 + ML 识材"流水线：
- 硬件（呼应综述第 14/15 章）：空气耦合换能器 / MEMS PMUT（如 TDK Chirp）/ 压电探头；可加阵列或多频。匹配层（气凝胶、PVDF、1-3 复合压电）对空气耦合信噪比至关重要。
- 数据采集：严格控制并记录距离、入射角、表面朝向、温度（这些都会混入回波——见 §8）；用转台/导轨系统化扫描；每材质多样本多姿态。
- 预处理：时间门控（gating）截取目标回波、去噪、Hilbert 取包络、幅度/能量归一化（抑制距离影响）。
- 特征 / 输入：原始 A-scan、包络、频谱、或频谱图/小波系数（喂 2D-CNN）。
- 数据增强：加噪、时移、幅度扰动、距离/角度合成。
- 模型与评估：经典（SVM/RF）做基线，DL（1D-CNN/TCN/2D-CNN-spectrogram）做主力；务必做留一材质/留一距离/留一传感器的泛化评估，而非随机划分。
- 数据集：公开的 MatSense2025（超声 + 毫米波多传感器，面向材质分类/NDT/传感器融合）可作起点；多数工作仍自采，缺乏统一基准。
8. 核心挑战（这是"更深"的关键）
超声识材在论文里准确率漂亮，但落地难，难在回波把材质和一堆干扰因素纠缠在一起：
- 距离依赖：回波幅度随传播距离衰减，模型容易把"距离"误学成"材质"。需幅度归一化、距离不变特征或显式建模距离。
- 角度/朝向/形状混淆：曲面、斜入射改变回波结构，几何与材质强耦合——同一材质不同形状回波差异可能大于不同材质。
- 表面粗糙度散射：粗糙面散射使回波弥散，干扰频谱特征。
- 温度漂移：声速随温度变化，精密任务需温度补偿。
- 跨传感器/跨频率泛化：不同换能器、频率、带宽输出不可直接迁移（与触觉领域"跨传感器泛化"难题同源）。
- 难测材质：强吸声（海绵/泡沫）回波弱、镜面斜反射丢信号、极薄/多层结构难分辨。
- 空气耦合低信噪比：~1% 透射 + 空气高频吸收，远距更糟。
- 对未见材质泛化与可解释性：闭集分类易、开集/未见材质难；模型决策与物理量（Z、衰减）的对应需可解释性支撑。
- 数据稀缺与缺基准：公开数据集少、采集条件不统一，难横向比较；sim2real（声学仿真到真实）尚不成熟。
一句话：让模型学"材质本身"而非"采集条件"，是这个方向真正的难点。 距离/角度/温度/传感器不变的表示学习，是落地的关键。
9. 与多感官框架 / MultiPLY 的关系
- 互补定位：超声识材是接触前、非接触、可探次表面的声学模态，补视觉（透明/暗光/遮挡）与触觉（须接触）的盲区，且比被动撞击声更可控（主动发射）。
- 作为 pre-touch 决策：在 MultiPLY 式具身 LLM 里，可设
<probe>（超声探测）动作 token 与"回波/距离/材质"状态 token，让智能体"先隔空扫一下材质，再决定要不要去摸/敲/抓"。 - 多模态融合：超声（材质/距离）+ 毫米波（穿透/距离）+ 视觉（外观）+ 视触觉（接触面）+ 撞击声（敲击后材质）天然互补；MatSense2025 的"超声+毫米波"即此思路。
- 表示学习借鉴：可借鉴触觉领域 UniTouch/TLV 的"跨传感器对齐"与"绑定到视觉/语言"，做声学材质表示 → 对齐视觉/语言，从而零样本识材或用语言描述材质。
10. 未来方向
- 跨距离/跨角度/跨传感器不变表示：用对比学习/域泛化把"材质本质"与"采集条件"解耦。
- 声学材质基础模型：大规模多材质、多传感器、多距离数据上自监督预训练，做可迁移的超声材质 encoder。
- 多模态融合与对齐：超声 + 毫米波 + 视觉 + 触觉 + 语言的统一材质表示。
- 可微声学仿真 + sim2real：用可微/物理仿真造数据并做真实标定，缓解数据稀缺。
- 面向具身的 pre-touch 策略：把"何时探、探哪里、探完怎么决策"做成可学习的主动感知策略（接入 VLA/具身 LLM）。
- 开集与可解释：开放材质识别 + 把模型决策映射回声阻抗/衰减等物理量。
- 统一基准：建立公开、标准化、含干扰因素标注的超声材质识别 benchmark。
11. 参考与资源
机器人 / 具身声学感知
- Active Acoustic Sensing for Robot Manipulationhttps://arxiv.org/abs/2308.01600
- SonicSense: Object Perception from In-Hand Acoustic Vibrationhttps://arxiv.org/abs/2406.17932
- Acoustic Sensing for Universal Jamming Grippershttps://arxiv.org/abs/2603.00351
- Pregrasp Object Material Classification with Integrated Spectroscopyhttps://arxiv.org/abs/2207.00942
超声回波 + ML 材质/信号分类
- Material Classification based on Non-contact Ultrasonic Echo Signal Using Deep Learning (1D-CNN, 96%)https://www.sciencedirect.com/science/article/pii/S1877050924007361
- A non-contact material recognition method using ultrasonic echo signals and deep learning (AE-CS-TCN, 2025)https://www.sciencedirect.com/science/article/abs/pii/S0165168425005249
- Automated Classification of Ultrasonic Signal via CNN (0.982, MDPI 2022)https://www.mdpi.com/2076-3417/12/9/4179
- Ultrasonic signal classification for composite materials via deep CNN (Neurocomputing 2017)https://www.sciencedirect.com/science/article/abs/pii/S0925231217301522
- Surrounding Object Material Detection and Identification for Robots Based on Ultrasonic Echo (Wiley 2023)https://onlinelibrary.wiley.com/doi/10.1155/2023/1998218
- Dual-Functional Flexible Ultrasonic Sensor Array: Proximity + Material Recognition (J. Field Robotics)https://onlinelibrary.wiley.com/doi/10.1002/rob.70225
- Machine learning in ultrasonics-based defect detection and material characterization: a review (2025)https://journals.sagepub.com/doi/10.1177/16878132251347390
物理与空气耦合
- Review of air-coupled ultrasonic materials characterization (Ultrasonics)https://www.sciencedirect.com/science/article/abs/pii/S0041624X14000377
- Air-coupled Ultrasound – A Millennial Reviewhttps://www.ndt.net/article/wcndt00/papers/idn507/idn507.htm
数据集
- MatSense2025: Multi-Sensor Dataset of Ultrasonic and mmWave for Material Classificationhttps://ieee-dataport.org/documents/multi-sensor-dataset-ultrasonic-and-mmwave-material-classification-matsense2025
来源（Sources）
- 非接触超声回波 1D-CNN 材质分类 (Procedia CS 2024)
- 超声回波 + 深度学习材质识别 AE-CS-TCN (Signal Processing 2025)
- CNN 自动分类超声信号 0.982 (MDPI Applied Sciences 2022)
- 复合材料超声信号 DCNN (Neurocomputing 2017)
- 机器人超声回波材质识别 (Wiley 2023)
- 双功能柔性超声阵列：接近+材质 (Wiley J. Field Robotics)
- 超声 ML 缺陷检测与材质表征综述 (2025)
- Active Acoustic Sensing for Robot Manipulation (2308.01600)
- SonicSense (2406.17932)
- Acoustic Sensing for Universal Jamming Grippers (2603.00351)
- Pregrasp Material Classification with Spectroscopy (2207.00942)
- 空气耦合超声材质表征综述 (Ultrasonics)
- Air-coupled Ultrasound 综述 (NDT.net)
- MatSense2025 数据集 (IEEE DataPort)