# 超声 + 机器学习 材质识别：深度子专题 > 定位：本篇是《多感官物体感知与触觉_方向综述.md》第 15 章"超声感知"的深化子专题，专注一个问题——**如何用超声回波 + 机器学习判别物体材质**。 > 面向研究者，覆盖：物理可分性来源 → 信号与特征 → 模型方法谱系 → 机器人/具身应用 → 数据与流水线 → 核心挑战 → 与多感官框架的关系 → 未来方向。 --- ## 1. 问题定义与范围 **任务**：给定超声换能器对目标物体发射脉冲并接收回波（或穿透信号），用模型推断该物体的**材质类别**（金属/塑料/木头/玻璃/海绵/布料……）或**材质物理属性**（声阻抗、弹性模量、黏弹性、厚度、分层）。 按耦合方式与几何分三种典型设置： - **接触式脉冲回波**：探头贴合（需耦合剂），信噪比高，常见于 NDT 测厚/探伤，可顺带材质表征。 - **非接触/空气耦合（air-coupled）脉冲回波**：探头隔空发射，最贴近"机器人隔空识材"的场景，但有严重阻抗失配（见 §2）。 - **穿透 / 隔容器（through-transmission / through-container）**：一发一收夹住样品，或贴在容器外壁识别内部液体。 本篇重点是**用 ML 把回波里的材质信息解码出来**，尤其是非接触场景（与机器人/具身最相关）。 --- ## 2. 为什么超声能区分材质：物理可分性来源 材质识别不是"黑盒玄学"，它有清晰的物理基础。三个材质相关量决定了回波长什么样： ### 2.1 声阻抗 Z = ρc 与反射/透射 声阻抗 `Z = 密度 ρ × 声速 c`。声波在两种介质界面上，**反射比例由两侧声阻抗失配决定**：失配越大，反射越强、透射越少。所以**回波幅度直接编码了"目标相对周围介质的声阻抗"**——金属（高 Z）和塑料（低 Z）的回波强度天然不同。 ### 2.2 声速 c 因材质而异 声速取决于材料的弹性模量与密度（`c ≈ √(模量/ρ)`）。这使得**飞行时间（ToF）/到达时刻**携带材质信息，也是测厚（厚度=c·ToF/2）的基础。声速与"储能模量"相关。 ### 2.3 频率相关衰减（attenuation） 材料对超声的吸收/散射随频率上升而增大，且**不同材质衰减差异显著**：塑料/复合材料衰减远高于金属（例：聚丙烯、PVDF 在 300kHz 约 2 dB/cm、500kHz 约 5 dB/cm）。衰减与"能量耗散和散射"相关——于是**回波的频谱形状、包络衰减速率**成为强判别特征。 ### 2.4 空气耦合的"双刃剑" 非接触时空气声阻抗极低，固/气界面**只透射约 1% 能量**，整条路径相比水耦合可多损耗约 100 dB。坏处是信噪比差；**好处是这个损耗本身强烈依赖材质**（金属比塑料损耗更高），反而成了判别线索。空气在 ~2MHz 以上吸收急剧上升，故空气耦合换能器多在该频率以下工作。导波（如 A0 Lamb 模态）的频散（速度随频率变化）则提供额外的材质指纹。 > 小结：**幅度（声阻抗）、到达时间（声速）、频谱/衰减（吸收散射）、频散（导波）**——这四类物理量就是 ML 模型要从回波里"读"出来的可分性来源。理解它们，才能设计对的特征与不变性。 --- ## 3. 测什么信号 / 信号形态 最原始的单通道回波叫 **A-scan**（幅度 vs 时间）。从中可提三类表征： - **时域**：ToF、首回波幅度、**包络（Hilbert 变换取 envelope）**、多次回波间隔、衰减速率。 - **频域**：功率谱、**衰减谱**（不同频率的损耗）、共振峰、谱质心。 - **时频域**：STFT 频谱图（spectrogram）、**小波/小波包系数**——兼顾"何时"与"何频"，适合非平稳回波。 采集模式：脉冲回波（同侧）、穿透法（两侧）、隔容器（贴外壁，靠"壁后是否有液体改变反射系数"判别液体）。 --- ## 4. 特征工程 vs 端到端：两条技术路线 ### 4.1 手工特征 + 经典 ML 传统做法是先用信号处理提特征，再喂经典分类器： - **EMD/IMF 特征**：经验模态分解得本征模态函数，提 16 维特征向量，喂 KNN/决策树/SVM；并配声学理论模型。显著提升机器人在**黑暗/粉尘/危险环境**下的材质识别能力。 - **小波/小波包**：对非平稳回波提时频特征；衰减相关的连续小波变换（CWT）可区分不同热处理/硬度的钢。 - **FFT + PCA 降维**：在频域提特征再降维，维持精度。 - **统计/谱特征**：均值、方差、谱质心、过零率等。 经典分类器：**SVM（含 wavelet+SVM、EMD+SVM）、KNN、随机森林、决策树、Fuzzy ARTMAP**。 ### 4.2 端到端深度学习 直接吃原始回波（或包络/频谱图），让网络自动学特征。**已被证明优于手工特征**：一项工作把 FFT/小波手工特征与 CNN 自动特征对比，CNN 端到端达 **0.982** 准确率，超过手工特征分类器。 --- ## 5. 模型方法谱系与代表结果 | 方法 | 输入 | 任务/材料 | 结果 | 出处 | |------|------|-----------|------|------| | **1D-CNN**（Hilbert 包络） | 原始回波包络 | 玻璃/木/金属/海绵/布 5 类 | 准确率 96%、F1 95% | 非接触超声回波材质分类（Procedia CS 2024） | | **CNN vs 手工特征** | 原始信号 / FFT / 小波 | 超声信号分类 | CNN 端到端 0.982，胜手工特征 | Automated Classification via CNN（MDPI 2022） | | **DCNN + 小波 + SVM 顶层** | 小波系数 | 复合材料超声信号 | 紧凑表示 + 线性 SVM 分类 | Composite materials via DCNN（Neurocomputing 2017） | | **AE-CS-TCN**（注意力+时序卷积+跨尺度融合+交叉注意力） | 原始回波 | 机器人材质识别 | 联合学空间/时序/多尺度特征，机器人平台验证 | 非接触超声回波+DL（Signal Processing 2025） | | **EMD + SVM/KNN/决策树** | 16 维 IMF 特征 | 多材质 | 提升暗/尘/危险环境识别 | EMD+经典 ML | | **双模态超声系统** | 接近 + 材质 | 13 种工业材料 | **98% 分类、测距误差 <3mm**、毫秒级 | 双模态接近+材质 | | **柔性超声阵列** | 阵列回波 | 接近觉 + 材质 | 机器人安全控制 | 双功能柔性超声阵列（J. Field Robotics） | | **NN on 脉冲回波 / TOFD** | A-scan | 缺陷/状态分类 | 脉冲回波 72.5%、TOFD 77.5%，预处理后 TOFD→97.5% | ML 综述（J. Mech. Eng. 2025） | **趋势**：从"手工特征 + SVM" → "1D-CNN 端到端" → "时序卷积 / 多尺度 / 注意力（TCN、AE-CS-TCN）"，并向**多模态融合**（超声 + 毫米波 + 视觉）演进。 --- ## 6. 机器人与具身应用：把"识材"用起来 材质识别在机器人里最有价值的位置是 **pre-touch（预触觉）**——比远距视觉近、比接触触觉远，在"接触前的最后几厘米"给出几何 + 材质信息，避免接触触觉碰飞轻物、避免视觉对透明/暗光失效。 代表性工作（声学/超声 + 机器人）： - **非接触超声回波 + DL 预触识材**：在配自研超声模块的机器人平台上，直接从原始回波联合学空间/时序/多尺度特征，做接触前材质识别（AE-CS-TCN）。 - **Active Acoustic Sensing for Robot Manipulation**（[2308.01600](https://arxiv.org/abs/2308.01600)）：振动作动器 + 压电麦克风，利用**物体共振**（与材质/形状/内部结构/接触状态相关）感知；**对光照与自遮挡不敏感**，把局部接触与全局状态（形状、材质、抓取点、内部变化、外部接触）联系起来。 - **SonicSense**（[2406.17932](https://arxiv.org/abs/2406.17932)）：从**手内声学振动**做物体感知（材质/几何），展示接触式声学感知的丰富信息。 - **Acoustic Sensing for Universal Jamming Grippers**（[2603.00351](https://arxiv.org/abs/2603.00351)）：把声学感知用于颗粒阻塞夹爪。 - **预抓取光谱夹爪**（[2207.00942](https://arxiv.org/abs/2207.00942)）：非超声但同思路——夹爪集成光谱，递归 SVM 在接近过程中逐步提升材质判别置信度。 - **"海螺效应" pre-touch**：检测手指接近物体时**环境声共振频率漂移**，兼具测距与材质选择性。 工业/场景应用： - **NDT**：缺陷探测 + 材质/微结构表征（热处理、硬度、焊缝）。 - **隔容器液体识别**：贴容器外壁，靠**声速、衰减、密度、频率相关吸收**与"壁后反射系数"识别内部液体/混合状态（蜂蜜-水、面糊混合的"是否混匀"分类）。 - **油气测井**：CNN 把声阻抗信号翻译成套管环空类型。 - **分拣/回收、农业、食品**：非接触识材用于不透明系统的实时在线检测。 --- ## 7. 数据与实验流水线 一条可复现的"超声 + ML 识材"流水线： 1. **硬件**（呼应综述第 14/15 章）：空气耦合换能器 / MEMS PMUT（如 TDK Chirp）/ 压电探头；可加阵列或多频。匹配层（气凝胶、PVDF、1-3 复合压电）对空气耦合信噪比至关重要。 2. **数据采集**：**严格控制并记录距离、入射角、表面朝向、温度**（这些都会混入回波——见 §8）；用转台/导轨系统化扫描；每材质多样本多姿态。 3. **预处理**：时间门控（gating）截取目标回波、去噪、**Hilbert 取包络**、幅度/能量归一化（抑制距离影响）。 4. **特征 / 输入**：原始 A-scan、包络、频谱、或频谱图/小波系数（喂 2D-CNN）。 5. **数据增强**：加噪、时移、幅度扰动、距离/角度合成。 6. **模型与评估**：经典（SVM/RF）做基线，DL（1D-CNN/TCN/2D-CNN-spectrogram）做主力；务必做**留一材质/留一距离/留一传感器**的泛化评估，而非随机划分。 7. **数据集**：公开的 **MatSense2025**（超声 + 毫米波多传感器，面向材质分类/NDT/传感器融合）可作起点；多数工作仍自采，缺乏统一基准。 --- ## 8. 核心挑战（这是"更深"的关键） 超声识材在论文里准确率漂亮，但落地难，难在**回波把材质和一堆干扰因素纠缠在一起**： - **距离依赖**：回波幅度随传播距离衰减，模型容易把"距离"误学成"材质"。需幅度归一化、距离不变特征或显式建模距离。 - **角度/朝向/形状混淆**：曲面、斜入射改变回波结构，**几何与材质强耦合**——同一材质不同形状回波差异可能大于不同材质。 - **表面粗糙度散射**：粗糙面散射使回波弥散，干扰频谱特征。 - **温度漂移**：声速随温度变化，精密任务需温度补偿。 - **跨传感器/跨频率泛化**：不同换能器、频率、带宽输出不可直接迁移（与触觉领域"跨传感器泛化"难题同源）。 - **难测材质**：强吸声（海绵/泡沫）回波弱、镜面斜反射丢信号、极薄/多层结构难分辨。 - **空气耦合低信噪比**：~1% 透射 + 空气高频吸收，远距更糟。 - **对未见材质泛化与可解释性**：闭集分类易、开集/未见材质难；模型决策与物理量（Z、衰减）的对应需可解释性支撑。 - **数据稀缺与缺基准**：公开数据集少、采集条件不统一，难横向比较；sim2real（声学仿真到真实）尚不成熟。 > 一句话：**让模型学"材质本身"而非"采集条件"，是这个方向真正的难点。** 距离/角度/温度/传感器不变的表示学习，是落地的关键。 --- ## 9. 与多感官框架 / MultiPLY 的关系 - **互补定位**：超声识材是**接触前、非接触、可探次表面**的声学模态，补视觉（透明/暗光/遮挡）与触觉（须接触）的盲区，且比被动撞击声更可控（主动发射）。 - **作为 pre-touch 决策**：在 MultiPLY 式具身 LLM 里，可设 ``（超声探测）动作 token 与"回波/距离/材质"状态 token，让智能体"先隔空扫一下材质，再决定要不要去摸/敲/抓"。 - **多模态融合**：超声（材质/距离）+ 毫米波（穿透/距离）+ 视觉（外观）+ 视触觉（接触面）+ 撞击声（敲击后材质）天然互补；MatSense2025 的"超声+毫米波"即此思路。 - **表示学习借鉴**：可借鉴触觉领域 UniTouch/TLV 的"跨传感器对齐"与"绑定到视觉/语言"，做**声学材质表示 → 对齐视觉/语言**，从而零样本识材或用语言描述材质。 --- ## 10. 未来方向 - **跨距离/跨角度/跨传感器不变表示**：用对比学习/域泛化把"材质本质"与"采集条件"解耦。 - **声学材质基础模型**：大规模多材质、多传感器、多距离数据上自监督预训练，做可迁移的超声材质 encoder。 - **多模态融合与对齐**：超声 + 毫米波 + 视觉 + 触觉 + 语言的统一材质表示。 - **可微声学仿真 + sim2real**：用可微/物理仿真造数据并做真实标定，缓解数据稀缺。 - **面向具身的 pre-touch 策略**：把"何时探、探哪里、探完怎么决策"做成可学习的主动感知策略（接入 VLA/具身 LLM）。 - **开集与可解释**：开放材质识别 + 把模型决策映射回声阻抗/衰减等物理量。 - **统一基准**：建立公开、标准化、含干扰因素标注的超声材质识别 benchmark。 --- ## 11. 参考与资源 ### 机器人 / 具身声学感知 - Active Acoustic Sensing for Robot Manipulation - SonicSense: Object Perception from In-Hand Acoustic Vibration - Acoustic Sensing for Universal Jamming Grippers - Pregrasp Object Material Classification with Integrated Spectroscopy ### 超声回波 + ML 材质/信号分类 - Material Classification based on Non-contact Ultrasonic Echo Signal Using Deep Learning (1D-CNN, 96%) - A non-contact material recognition method using ultrasonic echo signals and deep learning (AE-CS-TCN, 2025) - Automated Classification of Ultrasonic Signal via CNN (0.982, MDPI 2022) - Ultrasonic signal classification for composite materials via deep CNN (Neurocomputing 2017) - Surrounding Object Material Detection and Identification for Robots Based on Ultrasonic Echo (Wiley 2023) - Dual-Functional Flexible Ultrasonic Sensor Array: Proximity + Material Recognition (J. Field Robotics) - Machine learning in ultrasonics-based defect detection and material characterization: a review (2025) ### 物理与空气耦合 - Review of air-coupled ultrasonic materials characterization (Ultrasonics) - Air-coupled Ultrasound – A Millennial Review ### 数据集 - MatSense2025: Multi-Sensor Dataset of Ultrasonic and mmWave for Material Classification --- ## 来源（Sources） - [非接触超声回波 1D-CNN 材质分类 (Procedia CS 2024)](https://www.sciencedirect.com/science/article/pii/S1877050924007361) - [超声回波 + 深度学习材质识别 AE-CS-TCN (Signal Processing 2025)](https://www.sciencedirect.com/science/article/abs/pii/S0165168425005249) - [CNN 自动分类超声信号 0.982 (MDPI Applied Sciences 2022)](https://www.mdpi.com/2076-3417/12/9/4179) - [复合材料超声信号 DCNN (Neurocomputing 2017)](https://www.sciencedirect.com/science/article/abs/pii/S0925231217301522) - [机器人超声回波材质识别 (Wiley 2023)](https://onlinelibrary.wiley.com/doi/10.1155/2023/1998218) - [双功能柔性超声阵列：接近+材质 (Wiley J. Field Robotics)](https://onlinelibrary.wiley.com/doi/10.1002/rob.70225) - [超声 ML 缺陷检测与材质表征综述 (2025)](https://journals.sagepub.com/doi/10.1177/16878132251347390) - [Active Acoustic Sensing for Robot Manipulation (2308.01600)](https://arxiv.org/abs/2308.01600) - [SonicSense (2406.17932)](https://arxiv.org/abs/2406.17932) - [Acoustic Sensing for Universal Jamming Grippers (2603.00351)](https://arxiv.org/abs/2603.00351) - [Pregrasp Material Classification with Spectroscopy (2207.00942)](https://arxiv.org/abs/2207.00942) - [空气耦合超声材质表征综述 (Ultrasonics)](https://www.sciencedirect.com/science/article/abs/pii/S0041624X14000377) - [Air-coupled Ultrasound 综述 (NDT.net)](https://www.ndt.net/article/wcndt00/papers/idn507/idn507.htm) - [MatSense2025 数据集 (IEEE DataPort)](https://ieee-dataport.org/documents/multi-sensor-dataset-ultrasonic-and-mmwave-material-classification-matsense2025)