[论文解读] Robot Language Learning, Generation, and Comprehension
本文提出了一种统一框架，用于在机器人导航中实现自然语言的语义 grounding，使机器人能够通过真实世界的人工遥控学习、生成并理解基于语言的驾驶指令。利用人工标注的机器人路径，系统获取名词和介词的语义含义，在人类对生成描述和自主路径执行的评估中，正确率和完整度分别达到 94.6% 和 85.6%。
We present a unified framework which supports grounding natural-language semantics in robotic driving. This framework supports acquisition (learning grounded meanings of nouns and prepositions from human annotation of robotic driving paths), generation (using such acquired meanings to generate sentential description of new robotic driving paths), and comprehension (using such acquired meanings to support automated driving to accomplish navigational goals specified in natural language). We evaluate the performance of these three tasks by having independent human judges rate the semantic fidelity of the sentences associated with paths, achieving overall average correctness of 94.6% and overall average completeness of 85.6%.
研究动机与目标
- 通过真实世界交互，使机器人能够将自然语言语义与物理机器人驾驶行为进行语义 grounding。
- 从人工标注的机器人路径中学习连续二维空间内名词和介词的语义含义。
- 为新的人工驾驶机器人路径生成准确的自然语言描述。
- 基于学习到的语义，自主规划并执行满足自然语言导航指令的路径。
- 通过人工评判，评估生成描述和推导路径的语义保真度。
提出的方法
- 一名人工遥控操作员在不同平面图中驾驶移动机器人，同时提供句子指令，生成一组路径-句子配对的语料库。
- 系统利用实时里程计和惯性导航技术重建路径，从该语料库中学习名词（例如，包、椅子）和介词（例如，左方、前方）的语义 grounding。
- 利用学习到的语义模型，为在遥控操作下行驶的新机器人路径生成自然语言描述。
- 相同的模型支持语义理解：解析自然语言指令，自主规划并执行相应的机器人路径。
- 采用人类评估框架，通过每组样本三位独立评判员评估正确性（介词短语的真实性）和完整度（路径覆盖范围）。
- 系统在生成和理解任务上各评估 100 个样本，并与人工构建的模型进行额外对比。
实验结果
研究问题
- RQ1机器人能否从与自然语言描述配对的真实世界机器人路径中学习名词和介词的语义？
- RQ2学习到的语义能否用于生成对新机器人驾驶路径准确且完整的自然语言描述？
- RQ3机器人能否基于学习到的语义，自主执行满足自然语言导航指令的路径？
- RQ4在正确性和完整度方面，学习到的模型性能与人工设计模型相比如何？
- RQ5在人类评估中，生成描述和推导路径的语义保真度如何？
主要发现
- 在人类对生成句子与实际行驶路径对比的评估中，系统平均正确率达到 94.6%。
- 生成描述的平均完整度为 85.6%，表明对路径有较强的覆盖能力。
- 在理解任务中，系统在规划路径上的正确率达到 96.2%，在测量路径上为 95.5%，表明路径执行具有高精度。
- 理解任务的完整度在规划路径上平均为 88.5%，在测量路径上为 84.7%，显示出对路径的稳健覆盖能力。
- 学习到的模型性能几乎与人工构建模型相当，生成任务中正确率为 92.0%，完整度为 84.2%，证实了自动学习的有效性。
- 评委认为句子长度‘恰到好处’的情况略超过一半，但生成的句子普遍偏长，而非偏短。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。