[论文解读] Robust Gesture-Based Communication for Underwater Human-Robot Interaction in the context of Search and Rescue Diver Missions

Arturo Gomez Chavez, Mueller, Christian A.+3 more|arXiv (Cornell University)|Oct 16, 2018

Water Quality Monitoring Technologies参考文献 34被引用 67

一句话总结

本文提出了一种鲁棒的基于手势的通信系统 CADDIAN，使潜水员能够在高风险搜救任务中通过标准化手势控制自主水下航行器（AUV）。该系统结合了立体视觉、多描述符分类和语法检查器，以确保在复杂水下条件下实现精确的手势识别与逻辑命令有效性的验证，实现在真实桥梁检测场景中的可靠性能，并具备强大的反馈与安全机制。

ABSTRACT

We propose a robust gesture-based communication pipeline for divers to instruct an Autonomous Underwater Vehicle (AUV) to assist them in performing high-risk tasks and helping in case of emergency. A gesture communication language (CADDIAN) is developed, based on consolidated and standardized diver gestures, including an alphabet, syntax and semantics, ensuring a logical consistency. A hierarchical classification approach is introduced for hand gesture recognition based on stereo imagery and multi-descriptor aggregation to specifically cope with underwater image artifacts, e.g. light backscatter or color attenuation. Once the classification task is finished, a syntax check is performed to filter out invalid command sequences sent by the diver or generated by errors in the classifier. Throughout this process, the diver receives constant feedback from an underwater tablet to acknowledge or abort the mission at any time. The objective is to prevent the AUV from executing unnecessary, infeasible or potentially harmful motions. Experimental results under different environmental conditions in archaeological exploration and bridge inspection applications show that the system performs well in the field.

研究动机与目标

• 开发一种在高风险水下任务中，潜水员与 AUV 之间可靠且直观的通信方法。
• 解决水下图像退化（如光后向散射和颜色衰减）对手势识别带来的挑战。
• 通过在 AUV 执行前验证手势序列的逻辑一致性，确保任务安全。
• 通过水下平板实现实时反馈，使潜水员可在任何时间批准或中止命令。
• 在实际应用中展示系统的鲁棒性，例如在洪水后进行桥梁检测。

提出的方法

• 利用立体摄像头捕获三维手势数据，结合视差图与二维级联分类器，在低能见度条件下实现鲁棒的手部检测。
• 采用多描述符最近质心机（MD-NCM）分类器，融合多种图像描述符，以提高对水下图像伪影的抗干扰能力。
• 实施分层处理流程：手部检测 → 手势分类 → 语句解析 → 语法验证 → 命令分发。
• 引入语法检查器，通过分隔符 'START COMMUNICATION'（A）和 'END COMMUNICATION'（∀）定义有效命令与任务，以验证手势序列。
• 使用水下平板向潜水员提供实时反馈，使其可在 AUV 执行前批准或取消命令。
• 通过任务控制器将验证后的命令映射为低层级运动基元，以实现 AUV 的精确执行。

实验结果

研究问题

• RQ1 如何使基于手势的通信在应对水下图像失真（如后向散射和颜色衰减）时具备鲁棒性？
• RQ2 在水下条件多变的情况下，如何实现实时识别标准化潜水员手势的有效方法？
• RQ3 如何通过语法验证防止在潜水员-AUV 交互过程中执行无效或有害的 AUV 命令？
• RQ4 人机协同反馈系统在多大程度上可提升水下 AUV 任务的安全性与可靠性？
• RQ5 标准化手势语言（CADDIAN）在复杂任务（如洪水后桥梁检测）中是否能有效应用？

主要发现

• CADDIAN 系统在具有挑战性的水下条件下（包括低能见度和强后向散射）的实地测试中实现了高识别准确率。
• 多描述符分类方法在处理水下立体图像中常见的图像伪影方面，显著优于单描述符方法。
• 语法检查器成功过滤了无效命令序列，例如缺少参数的不完整或逻辑不一致操作（如“执行地图并下潜”而无参数）。
• 通过水下平板实现实时反馈，使潜水员能够批准或中止命令，显著提升了任务安全性与用户控制力。
• 该系统在卡尔·卡斯滕斯桥的实际桥梁检测场景中成功应用，支持了洪水事件后结构安全性的决策判断。
• 声呐（ARIS 3000）与光学成像的集成，使得即使在能见度差的条件下，也能对桥梁基础进行综合评估，且由潜水员引导的 AUV 任务显著提升了检测效率与安全性。