[论文解读] Verbal Focus-of-Attention System for Learning-from-Observation

Naoki Wake, Iori Yanokura+2 more|arXiv (Cornell University)|Jul 17, 2020

Robot Manipulation and Learning参考文献 59被引用 4

一句话总结

本文提出了一种基于语言的注意力焦点（FoA）系统，通过使用自然语言指令引导对人类示范的时空滤波，从而增强机器人在学习-观察（LfO）任务中的表现。通过解析物体名称和属性以定义‘何处看’的滤波器，并检测抓取/释放动作的时间点以生成‘何时看’的滤波器，该系统在杂乱、噪声较多的环境中相比最先进的纯视觉方法，显著提升了动作定位的鲁棒性。

ABSTRACT

The learning-from-observation (LfO) framework aims to map human demonstrations to a robot to reduce programming effort. To this end, an LfO system encodes a human demonstration into a series of execution units for a robot, which are referred to as task models. Although previous research has proposed successful task-model encoders, there has been little discussion on how to guide a task-model encoder in a scene with spatio-temporal noises, such as cluttered objects or unrelated human body movements. Inspired by the function of verbal instructions guiding an observer's visual attention, we propose a verbal focus-of-attention (FoA) system (i.e., spatio-temporal filters) to guide a task-model encoder. For object manipulation, the system first recognizes the name of a target object and its attributes from verbal instructions. The information serves as a where-to-look FoA filter to confine the areas in which the target object existed in the demonstration. The system then detects the timings of grasp and release that occurred in the filtered areas. The timings serve as a when-to-look FoA filter to confine the period of object manipulation. Finally, a task-model encoder recognizes the task models by employing FoA filters. We demonstrate the robustness of the verbal FoA in attenuating spatio-temporal noises by comparing it with an existing action localization network. The contributions of this study are as follows: (1) to propose a verbal FoA for LfO, (2) to design an algorithm to calculate FoA filters from verbal input, and (3) to demonstrate the effectiveness of a verbal FoA in localizing an action by comparing it with a state-of-the-art vision system.

研究动机与目标

• 解决在学习-观察（LfO）中因环境杂乱、物体繁多及无关身体动作导致的人类示范噪声问题，从而阻碍准确的任务建模。
• 通过引入受人类注意力启发的机制，提升真实场景中任务模型编码器对时空噪声的鲁棒性。
• 开发一种将自然语言指令转化为动态时空滤波器的系统，以在示范编码过程中引导注意力。
• 证明基于语言的FoA滤波器在复杂、噪声较多的场景中，相比纯视觉基线方法，能显著提升抓取与释放动作的定位精度。

提出的方法

• 解析语言指令以提取目标物体名称和属性，用于生成‘何处看’的空间滤波器，从而限定示范中的感兴趣区域。
• 在经空间滤波的区域内，通过时间动作定位检测抓取与释放动作，形成‘何时看’的时间滤波器。
• 将联合的时空FoA滤波器应用于任务模型编码器的输入，以减少对无关视觉噪声的敏感性。
• 采用两阶段滤波流程：首先通过物体识别与属性解析实现空间滤波，然后通过动作边界检测实现时间滤波。
• 将FoA滤波器集成到标准LfO流程中，使任务模型编码器仅关注示范的相关片段。
• 采用现有的动作定位网络作为基线进行对比，同时评估语言FoA对定位精度与噪声鲁棒性的影响。

实验结果

研究问题

• RQ1 能否有效利用语言指令生成时空滤波器，以在学习-观察过程中提升注意力？
• RQ2 在杂乱视觉条件下，与纯视觉基线相比，基于语言的FoA系统在抓取与释放动作定位上的表现如何？
• RQ3 该FoA系统在多大程度上降低了对时空噪声（如无关人体动作和干扰物）的敏感性？
• RQ4 将物体名称与属性识别和时间动作检测相结合，在引导任务建模注意力方面有何影响？
• RQ5 所提出的FoA机制能否在不需重大架构修改的前提下，无缝集成到现有LfO框架中？

主要发现

• 基于语言的FoA系统通过语言引导的时空约束，有效过滤无关视觉噪声，显著提升了在杂乱场景中的动作定位精度。
• 即使在示范中存在干扰物或无关身体动作的情况下，该系统仍能实现对抓取与释放动作的鲁棒定位。
• 与最先进的纯视觉动作定位网络相比，FoA增强系统在高时空噪声条件下表现出更优的性能。
• 将语言输入整合到注意力机制中，使得从人类示范中提取任务模型更加可靠且可解释。
• 该方法通过语言引导的空间与时间滤波，有效实现了物体定位与动作边界检测任务的解耦。
• 通过定量对比验证了系统性能，结果显示在多种噪声示范场景下，定位F1分数和鲁棒性均有显著提升。