[论文解读] Robot Representing and Reasoning with Knowledge from Reinforcement Learning.

Keting Lu, Shiqi Zhang+2 more|arXiv (Cornell University)|Sep 28, 2018

Reinforcement Learning in Robotics参考文献 21被引用 12

一句话总结

本文提出了一种混合框架，将逻辑-概率知识表示与推理（KRR）和基于模型的强化学习（RL）相结合，使移动机器人能够通过统一人类提供的陈述性知识和RL提取的经验，动态构建特定任务的规划模型。与现有基于模型的RL方法相比，该方法在对话、导航和配送任务中的表现显著提升。

ABSTRACT

Reinforcement learning (RL) agents aim at learning by interacting with an environment, and are not designed for representing or reasoning with declarative knowledge. Knowledge representation and reasoning (KRR) paradigms are strong in declarative KRR tasks, but are ill-equipped to learn from such experiences. In this work, we integrate logical-probabilistic KRR with model-based RL, enabling agents to simultaneously reason with declarative knowledge and learn from interaction experiences. The knowledge from humans and RL is unified and used for dynamically computing task-specific planning models under potentially new environments. Experiments were conducted using a mobile robot working on dialog, navigation, and delivery tasks. Results show significant improvements, in comparison to existing model-based RL methods.

研究动机与目标

• 为解决RL智能体在表示和推理陈述性知识方面的局限性。
• 克服传统KRR系统无法从交互经验中学习的缺陷。
• 统一人类提供的知识与RL提取的知识，以实现动态规划模型的生成。
• 使智能体能够利用综合知识源，在新环境或变化环境中自适应地调整规划模型。
• 提升在现实世界机器人任务（如对话、导航和配送）中的表现。

提出的方法

• 将逻辑-概率KRR与基于模型的RL结合，以表示和推理陈述性知识。
• 利用人类结构化的知识作为先验，指导并约束学习过程。
• 通过整合人类知识和RL提取的经验，动态构建特定任务的规划模型。
• 采用统一的知识表示，支持在共享框架中同时实现推理与学习。
• 利用基于模型的RL通过与环境的交互来优化和更新规划模型。
• 通过使用统一的知识库重新计算规划模型，支持对新环境的适应。

实验结果

研究问题

• RQ1 如何在统一框架中有效整合人类提供的陈述性知识与强化学习经验？
• RQ2 KRR与基于模型的RL的结合能否提升动态环境中规划与决策的能力？
• RQ3 统一的知识表示如何支持在新环境条件下动态生成模型？
• RQ4 通过结合KRR与基于模型的RL，在现实世界机器人任务中可实现多大的性能提升？
• RQ5 该框架在复杂任务中相较于现有基于模型的RL方法，其优越性在多大程度上得以体现？

主要发现

• 与现有基于模型的RL方法相比，所提出的框架在对话、导航和配送任务中的表现显著提升。
• 人类提供的知识与RL提取经验的结合，使在新环境中的规划更具鲁棒性和自适应性。
• 统一的知识表示支持在执行过程中动态重新计算特定任务的规划模型。
• 通过结合逻辑-概率KRR与基于经验的学习，系统展现出更强的推理能力。
• 该方法通过在规划过程中引入先验知识，减少了对大量试错学习的依赖。
• 结果表明任务成功率和规划效率均有可测量的提升，尽管提供的摘要中未量化具体指标。