[论文解读] Towards A Robot Explanation System: A Survey and Our Approach to State Summarization, Storage and Querying, and Human Interface

Han Zhao, Jordan Allspaw+2 more|arXiv (Cornell University)|Sep 13, 2019

Explainable Artificial Intelligence (XAI)参考文献 54被引用 5

一句话总结

本文提出了一套全面的机器人解释系统，整合了状态总结、高效查询的持久化数据存储，以及多模态人机交互界面，以增强机器人可信度与透明度。该系统支持机器人主动发起和用户主动发起的解释，涵盖从抽象到详细的总结，数据存储于结构化数据库中，并通过语音、手势或AR进行传达，评估计划在FetchIt!任务环境中进行。

ABSTRACT

As robot systems become more ubiquitous, developing understandable robot systems becomes increasingly important in order to build trust. In this paper, we present an approach to developing a holistic robot explanation system, which consists of three interconnected components: state summarization, storage and querying, and human interface. To find trends towards and gaps in the development of such an integrated system, a literature review was performed and categorized around those three components, with a focus on robotics applications. After the review of each component, we discuss our proposed approach for robot explanation. Finally, we summarize the system as a whole and review its functionality.

研究动机与目标

• 为应对人机交互（HRI）中对可解释机器人系统日益增长的需求，以提升可信度与可用性。
• 通过调研关于状态总结、数据存储/查询，以及人机交互组件的文献，识别机器人解释系统中的研究空白。
• 设计一种统一的架构，支持在多个抽象层次上实现机器人主动发起和用户主动发起的解释。
• 利用自然语言、手势和AR投影，实现高效、可扩展且多模态的解释信息传达。
• 在类似FetchIt!移动操作挑战的现实、受限环境中对系统进行评估。

提出的方法

• 通过人工或自动化方法，在多个抽象层次（从原始传感器数据到高层次任务描述）上执行状态总结。
• 持久化数据库用于存储总结、原始状态和元数据，并通过关联关系支持对后续解释的动态查询。
• 系统采用查询接口，在预存总结不足以满足用户查询时，支持在线总结。
• 人机交互界面采用多模态通信方式（语音、肢体语言、屏幕、AR），根据上下文和注意力需求选择合适的模态。
• 系统支持双向交互：机器人可为主动解释其不透明行为，用户亦可按需请求更深入或更广泛的解释。
• 该架构采用模块化API设计，便于与现有机器人软件栈及解释模块集成。

实验结果

研究问题

• RQ1 如何在多个抽象层次上对机器人行为进行总结，以同时支持专家与非专家用户？
• RQ2 需要何种数据库设计与查询机制，才能高效存储并检索不同细节程度的解释？
• RQ3 如何有效结合多模态人机交互界面（如语音、手势、AR）以提升解释的理解度与参与度？
• RQ4 与通用AI或虚拟代理解释系统相比，当前机器人解释系统存在哪些关键差距？
• RQ5 如何在现实机器人任务环境中无缝集成机器人主动发起与用户主动发起的解释？

主要发现

• 由于基于学习的自动化总结方法目前尚不成熟，人工状态总结仍是一种可行的替代方案。
• 持久化且具备查询能力的数据库对于维护不同解释层次之间的链接、支持动态用户查询至关重要。
• 多模态通信——尤其是结合语音、手势与AR——能显著提升物理HRI场景中解释的注意力吸引效果与理解度。
• FetchIt!任务环境因常见故障模式（如抓取失败、导航错误、物体识别混淆）而成为评估解释系统的理想现实测试平台。
• 常见的机器人故障（如因空间限制或传感器噪声导致的错误抓取）凸显了及时提供人类可理解解释的必要性。
• 所提出的系统架构支持机器人主动发起与用户主动发起的解释，实现了流畅、交互式的解释会话。