[论文解读] Robot Inner Attention Modeling for Task-Adaptive Teaming of Heterogeneous Multi Robots

Chao Huang, Rui Liu|arXiv (Cornell University)|Jun 28, 2020

Reinforcement Learning in Robotics参考文献 35被引用 4

一句话总结

本文提出 innerATT，一种新颖的多智能体强化学习框架，将注意力机制整合到多智能体演员-critic 架构中，以实现异构机器人的灵活、任务自适应团队协作。通过根据任务需求和机器人能力动态分配注意力权重，innerATT 在单任务、双任务及混合任务场景下均实现了卓越的团队构成准确度与适应性，在存在机器人故障和任务需求变化的动态环境中，其性能优于基线方法。

ABSTRACT

Attracted by team scale and function diversity, a heterogeneous multi-robot system (HMRS), where multiple robots with different functions and numbers are coordinated to perform tasks, has been widely used for complex and large-scale scenarios, including disaster search and rescue, site surveillance, and social security. However, due to the variety of the task requirements, it is challenging to accurately compose a robot team with appropriate sizes and functions to dynamically satisfy task needs while limiting the robot resource cost to a low level. To solve this problem, in this paper, a novel adaptive cooperation method, inner attention (innerATT), is developed to flexibly team heterogeneous robots to execute tasks as task types and environment change. innerATT is designed by integrating a novel attention mechanism into a multi-agent actor-critic reinforcement learning architecture. With an attention mechanism, robot capability will be analyzed to flexibly form teams to meet task requirements. Scenarios with different task variety ("Single Task", "Double Task", and "Mixed Task") were designed. The effectiveness of the innerATT was validated by its accuracy in flexible cooperation.

研究动机与目标

• 解决在不同任务需求和现实约束条件下，异构多机器人系统（HMRS）中动态组合最优机器人团队的挑战。
• 克服预定义团队策略和非自适应强化学习方法在机器人故障或任务复杂度变化时失效的局限性。
• 使机器人能够基于实时合作潜力，通过注意力机制自主选择队友。
• 提升在复杂、大规模场景（如灾难救援和交通管制）中的团队协作适应性与鲁棒性。

提出的方法

• 将多头自注意力机制集成到多智能体演员-critic 强化学习框架中，以建模机器人之间的协作动态。
• 以机器人观测、状态、动作及队友通信数据作为输入，计算每个潜在队友的注意力权重。
• 采用基于学习到的注意力权重选择最优协作策略的 Q-value 网络，以满足特定任务需求。
• 使用深度强化学习端到端训练模型，使注意力权重在部署过程中自动学习。
• 支持多个注意力头，以评估机器人协作能力的不同方面，提升团队组建的灵活性。
• 通过选择性聚焦于可靠队友，减少对故障信息的依赖，从而增强对机器人故障的鲁棒性。

实验结果

研究问题

• RQ1 异构机器人如何根据任务类型和环境条件的变化，动态组建最优团队？
• RQ2 与非选择性或固定权重策略相比，注意力机制在多大程度上提升了团队协作的适应性？
• RQ3 在传感器退化或部分功能丧失等机器人故障情况下，所提方法能否保持高性能？
• RQ4 注意力机制如何在不同任务之间的任务转换过程中支持行为适应？
• RQ5 在混合任务场景下，基于注意力的选择对团队构成准确度和资源效率有何影响？

主要发现

• 在所有任务类型（包括单任务、双任务和混合任务）中，innerATT 在团队构成准确度方面显著优于基线方法。
• 注意力机制使机器人能够在任务转换期间动态调整合作焦点——例如从医疗援助机器人转向导航机器人——如图5所示的注意力权重变化所证实。
• 训练过程中注意力权重的熵值降至约1.02，表明注意力学习稳定且具有选择性，证实了模型识别关键队友的能力。
• 在无人机参与率对比中，innerATT 在不同任务下表现出统计上无显著差异（χ² < 3.84），表明其团队协作性能一致且具有自适应能力。
• 该方法通过选择性关注可靠合作者，减少了对故障队友的依赖，表现出对机器人故障的鲁棒性。
• PPO-innerATT 和 TD-innerATT 变体在各类任务中实现了均衡的无人机参与率，而基线方法则表现出明显偏差，表明其公平性与适应性得到显著提升。