[论文解读] See, Hear, and Feel: Smart Sensory Fusion for Robotic Manipulation

Hao Li, Yizhi Zhang+8 more|arXiv (Cornell University)|Dec 7, 2022

Tactile and Sensory Interactions被引用 9

一句话总结

该论文提出了一种多感官自注意力模型，通过融合视觉、听觉和触觉输入，提升机器人在密集堆叠和倒液等复杂任务中的操作性能。通过利用视觉获取全局上下文，利用声音实现接触时的实时反馈，利用触觉获取精确的局部几何信息，该系统实现了最先进性能，与仅使用视觉的基线方法相比，倒液任务中的重量误差降低了80%。

ABSTRACT

Humans use all of their senses to accomplish different tasks in everyday activities. In contrast, existing work on robotic manipulation mostly relies on one, or occasionally two modalities, such as vision and touch. In this work, we systematically study how visual, auditory, and tactile perception can jointly help robots to solve complex manipulation tasks. We build a robot system that can see with a camera, hear with a contact microphone, and feel with a vision-based tactile sensor, with all three sensory modalities fused with a self-attention model. Results on two challenging tasks, dense packing and pouring, demonstrate the necessity and power of multisensory perception for robotic manipulation: vision displays the global status of the robot but can often suffer from occlusion, audio provides immediate feedback of key moments that are even invisible, and touch offers precise local geometry for decision making. Leveraging all three modalities, our robotic system significantly outperforms prior methods.

研究动机与目标

• 研究视觉、听觉与触觉在机器人操作任务中的互补作用。
• 开发一种统一的多感官融合框架，以提升复杂操作任务中的决策能力。
• 证明结合三种感官模态相较于单模态或双模态方法的必要性与性能优势。
• 提供真实机器人任务中各模态贡献的实证与定性分析。

提出的方法

• 为Franka Emika Panda机器人配备摄像头、接触式麦克风以及基于视觉的触觉传感器（GelSight），实现多模态感知。
• 设计一种多感官自注意力机制，能够跨模态并在时间维度上动态加权感官输入。
• 使用模仿学习，基于专家示范训练单一策略，以完成密集堆叠与倒液任务。
• 通过学习到的注意力权重融合视觉、听觉与触觉特征，以提升动作预测与任务成功率。
• 评估消融变体，以隔离各模态的贡献并验证融合机制的有效性。
• 在任务间采用统一架构，以支持泛化能力与对比分析。

实验结果

研究问题

• RQ1 视觉、听觉与触觉在解决复杂机器人操作任务中各自发挥怎样的作用？
• RQ2 自注意力机制能否有效融合视觉、听觉与触觉信号，以提升机器人决策能力？
• RQ3 在任务执行过程中，各感官模态在时间与上下文上分别扮演何种角色？
• RQ4 多感官融合在密集堆叠与倒液任务中，相较于单模态或双模态基线方法，表现如何？
• RQ5 当视觉线索被遮挡时，听觉反馈在多大程度上提升了倒液任务的时序精度？

主要发现

• 所提出的多感官自注意力（MulSA）模型在倒液任务中实现了1.41g的平均重量误差，优于仅使用视觉的基线模型（40.87g）以及次优方法（5.02g）。
• 在仅使用视觉的基础上增加听觉或触觉，性能显著提升：V+A将误差降低至15.20g，V+T降低至5.58g，而V+A+T组合达到最佳表现，误差为1.41g。
• 听觉反馈在判断倒液结束时机方面至关重要，缺乏听觉的模型表现出延迟与过量倒液，表明其在检测累积颗粒引起的音高变化中发挥了关键作用。
• 视觉对于初始对齐与全局状态估计至关重要，但在插入与倒液过程中易受遮挡影响。
• 触觉传感提供了精确的局部几何信息与接触力反馈，对物体在手内动力学与精细操作至关重要。
• 该模型的注意力机制能够动态调整关注重点：任务初期聚焦视觉，倒液过程中转向听觉与触觉，最终在停止预测阶段回归听觉。