[论文解读] Reshaping Robot Trajectories Using Natural Language Commands: A Study of Multi-Modal Data Alignment Using Transformers

Arthur Bucker, Luis Figueredo+4 more|arXiv (Cornell University)|Mar 25, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文提出了一种基于多模态注意力变换器的自然语言接口，用于通过对齐预训练语言嵌入（来自 BERT 和 CLIP）与几何轨迹数据，实现机器人轨迹的重塑。该方法在性能和用户偏好方面优于传统的接口方式（如运动教学和编程），在真实世界实验中，用户完成任务的速度更快，成功率更高。

ABSTRACT

Natural language is the most intuitive medium for us to interact with other people when expressing commands and instructions. However, using language is seldom an easy task when humans need to express their intent towards robots, since most of the current language interfaces require rigid templates with a static set of action targets and commands. In this work, we provide a flexible language-based interface for human-robot collaboration, which allows a user to reshape existing trajectories for an autonomous agent. We take advantage of recent advancements in the field of large language models (BERT and CLIP) to encode the user command, and then combine these features with trajectory information using multi-modal attention transformers. We train the model using imitation learning over a dataset containing robot trajectories modified by language commands, and treat the trajectory generation process as a sequence prediction problem, analogously to how language generation architectures operate. We evaluate the system in multiple simulated trajectory scenarios, and show a significant performance increase of our model over baseline approaches. In addition, our real-world experiments with a robot arm show that users significantly prefer our natural language interface over traditional methods such as kinesthetic teaching or cost-function programming. Our study shows how the field of robotics can take advantage of large pre-trained language models towards creating more intuitive interfaces between robots and machines. Project webpage: https://arthurfenderbucker.github.io/NL_trajectory_reshaper/

研究动机与目标

• 开发一种灵活、直观的人机接口，使用户能够使用自然语言命令修改机器人轨迹。
• 解决在真实机器人应用中，刚性模板化语言接口和运动教学方法的局限性。
• 实现尊重语义意图的轨迹重塑，同时保持运动学可行性和安全性。
• 利用大规模预训练语言和视觉模型，减少对大规模标注训练数据的需求，并提升对新命令的泛化能力。
• 在仿真和真实世界环境中评估该系统，证明其在可用性和性能方面的优势。

提出的方法

• 系统使用预训练的 BERT 和 CLIP 模型，将自然语言命令编码为密集的语义嵌入。
• 几何轨迹数据被编码为三维航点序列，表示初始机器人运动。
• 多模态注意力变换器联合对齐语言嵌入与轨迹嵌入，生成上下文感知的表示。
• 模型将轨迹生成作为序列预测任务，基于原始轨迹和语言输入预测重塑后的航点。
• 采用模仿学习在人类修改的轨迹与自然语言命令配对的数据集上训练模型。
• 该架构支持端到端学习语义轨迹重塑，无需针对特定任务进行重新训练。

Figure 1 : Our system allows a user to send natural language commands to reshape robot trajectories relative to objects in the environment.

实验结果

研究问题

• RQ1 自然语言命令能否有效用于重塑机器人轨迹，使其与人类意图保持一致？
• RQ2 语言与轨迹数据之间的多模态注意力相比单模态或无注意力基线，如何提升轨迹重塑性能？
• RQ3 利用预训练的语言和视觉模型在多大程度上减少了对大规模标注训练数据的需求？
• RQ4 与传统方法（如运动教学和编程）相比，该接口在可用性和成功率方面表现如何？
• RQ5 由于使用了预训练嵌入，该系统能否泛化到训练期间未见过的新命令和新物体？

主要发现

• 自然语言（NL）接口每项任务平均仅需 1.33 次迭代，显著低于运动教学（1.78）和轨迹绘制（1.89）。
• NL 接口在用户研究中实现了 100% 的成功率，优于运动教学（56.24%）和轨迹绘制（64.7%）。
• 用户将 NL 接口评为最自然（98/100）和最易使用（92/100），但认为其可预测性低于直接控制方法。
• NL 接口速度最快，平均完成时间为 81 秒，远低于运动教学（139 秒）和绘制（120 秒）。
• 编程接口失败率最高（8.34%），用户满意度最低（62/100），可能因其学习曲线陡峭所致。
• 该模型在仿真和真实世界实验中均优于基线方法，损失值更低，轨迹输出质量更高。

Figure 2 : Typical use case for trajectory reshaping. The user’s natural language command $L_{\text{in}}$ is processed by function $f$ to reshape the original robot trajectory relative to the target object $O_{i}$ .