[论文解读] Using Social Cues to Recognize Task Failures for HRI: Overview, State-of-the-Art, and Future Directions

Alexandra Bremers, Alexandria Pabst+2 more|arXiv (Cornell University)|Jan 27, 2023

Ethics and Social Impacts of AI被引用 4

一句话总结

本文提出了一种机器人框架，通过解读旁观者社交线索（如面部表情和手势）来检测物理任务失败，结合行为科学、人机交互（HRI）和机器学习的洞见。该框架提出了一种基于自我意识与社交反馈的错误检测分类法，并识别出关键技术与数据挑战，倡导公开发布数据集，以推动机器人领域自主、社交感知的错误识别发展。

ABSTRACT

Robots that carry out tasks and interact in complex environments will inevitably commit errors. Error detection is thus an essential ability for robots to master to work efficiently and productively. People can leverage social feedback to get an indication of whether an action was successful or not. With advances in computing and artificial intelligence (AI), it is increasingly possible for robots to achieve a similar capability of collecting social feedback. In this work, we take this one step further and propose a framework for how social cues can be used as feedback signals to recognize task failures for human-robot interaction (HRI). Our proposed framework sets out a research agenda based on insights from the literature on behavioral science, human-robot interaction, and machine learning to focus on three areas: 1) social cues as feedback (from behavioral science), 2) recognizing task failures in robots (from HRI), and 3) approaches for autonomous detection of HRI task failures based on social cues (from machine learning). We propose a taxonomy of error detection based on self-awareness and social feedback. Finally, we provide recommendations for HRI researchers and practitioners interested in developing robots that detect task errors using human social cues. This article is intended for interdisciplinary HRI researchers and practitioners, where the third theme of our analysis provides more technical details aiming toward the practical implementation of these systems.

研究动机与目标

• 开发一种机器人错误检测系统，利用旁观者的社交线索作为实时反馈，以识别物理任务失败。
• 通过整合行为科学、人机交互（HRI）与机器学习在社交线索解读方面的跨学科洞见，弥合三者之间的研究鸿沟。
• 识别当前HRI系统中的研究空白，特别是缺乏标注且公开可用的数据集用于机器人故障响应。
• 指导实践者构建稳健的多模态机器学习模型，用于在动态环境中基于社交线索进行错误检测。
• 倡导公开发布记录人类对机器人故障反应的数据集，以加速研究进展并提升模型泛化能力。

提出的方法

• 整合行为科学在非语言沟通方面的研究成果，以定义对错误反馈具有社会相关性的线索。
• 综述HRI研究中关于人类对机器人故障反应的分析，重点关注凝视、面部表情和手势等可观察行为。
• 分析机器学习技术（尤其是深度学习与强化学习）在将旁观者反应分类为任务失败指标方面的应用。
• 提出一种基于自我意识与社交反馈的错误检测分类法，实现对故障识别策略的结构化分类。
• 强调多模态数据融合（如视觉、音频、运动）以提升真实HRI场景下的鲁棒性。
• 建议使用平衡准确率和Cohen’s Kappa等指标，将新模型与最先进基线进行对比，以评估性能与标注可靠性。

Figure 1. Schematic overview of interaction intelligence for task failure detection through bystander response. A failure occurs (left), leading to a human reaction (center), which is used as data input for failure prediction from the robot (right). Detection of failure is an important first step fo

实验结果

研究问题

• RQ1 行为科学如何定义从旁观者面部表情中识别错误？
• RQ2 当前人机交互研究在错误识别与社交线索处理方面的最先进水平是什么？存在哪些关键研究空白？
• RQ3 目前有哪些最先进的算法工具与数据集可用于基于旁观者表情检测HRI中的任务失败？
• RQ4 人口统计与拟人化因素（如年龄、性别、机器人外观）如何影响人类对机器人故障的反应？
• RQ5 强化学习与多模态数据融合在提升基于社交线索的自主错误检测方面发挥什么作用？

主要发现

• 旁观者反应——尤其是面部表情与凝视等非语言线索——即使在不同环境中，也能作为可靠且可泛化的机器人任务失败指标。
• 当前HRI研究表明，人们会自动解读社交线索以检测错误，表明机器人可通过情感计算与计算机视觉技术模拟此能力。
• 尽管已有进展，但目前仍严重缺乏公开可用且已标注的数据集，用于记录人类对机器人故障的反应，限制了模型开发与基准测试。
• 结合视觉、听觉与运动数据的多模态方法，在鲁棒性方面显著优于单模态系统。
• 在数据不平衡或噪声较多的真实世界场景中，平衡准确率与Cohen’s Kappa等性能指标对模型评估至关重要。
• 强化学习为机器人从直接交互中学习提供了有前景的路径，尤其在任务失败频繁发生的环境中。

Figure 2. Number of published papers over time using search criteria for Section 3 (Theme 1). Citation Report graphic is derived from Clarivate Web of Science , Copyright Clarivate 2022. All rights reserved.