[论文解读] Towards Symbolic Reinforcement Learning with Common Sense

Artur d’Avila Garcez, Aimore Resende Riquetti Dutra+1 more|arXiv (Cornell University)|Apr 23, 2018

Reinforcement Learning in Robotics参考文献 18被引用 15

一句话总结

该论文提出了一种名为常识性符号强化学习（SRL+CS）的新方法，作为深度符号强化学习的扩展，通过两项关键改进——仅在与相关物体交互的状态下更新Q值，以及根据物体距离对Q值进行加权——将常识融入其中，从而提升泛化能力和专业化水平。SRL+CS实现了接近完美的零样本迁移学习，在最困难的测试场景中达到100%的准确率，超越了DQN（50%）和DSRL（70%），显著提升了可解释性与性能，相较于标准强化学习方法具有质的飞跃。

ABSTRACT

Deep Reinforcement Learning (deep RL) has made several breakthroughs in recent years in applications ranging from complex control tasks in unmanned vehicles to game playing. Despite their success, deep RL still lacks several important capacities of human intelligence, such as transfer learning, abstraction and interpretability. Deep Symbolic Reinforcement Learning (DSRL) seeks to incorporate such capacities to deep Q-networks (DQN) by learning a relevant symbolic representation prior to using Q-learning. In this paper, we propose a novel extension of DSRL, which we call Symbolic Reinforcement Learning with Common Sense (SRL+CS), offering a better balance between generalization and specialization, inspired by principles of common sense when assigning rewards and aggregating Q-values. Experiments reported in this paper show that SRL+CS learns consistently faster than Q-learning and DSRL, achieving also a higher accuracy. In the hardest case, where agents were trained in a deterministic environment and tested in a random environment, SRL+CS achieves nearly 100% average accuracy compared to DSRL's 70% and DQN's 50% accuracy. To the best of our knowledge, this is the first case of near perfect zero-shot transfer learning using Reinforcement Learning.

研究动机与目标

• 通过将符号推理与Q-learning相结合，解决深度强化学习（DRL）存在的学习缓慢、泛化能力差及可解释性不足等问题。
• 通过在学习与决策过程中融入常识原则，提升强化学习中的迁移学习性能。
• 开发一种无需显式知识工程的无模型符号强化学习框架，以增强泛化能力。
• 评估符号抽象与常识推理相结合是否能在随机与确定性环境中实现近乎完美的零样本迁移学习。

提出的方法

• 该方法在深度符号强化学习（DSRL）的基础上进行扩展，简化了物体识别过程，并直接向智能体提供符号化状态表示。
• 对标准Q-learning引入两项核心改进：(1) Q值更新仅限于智能体与相关物体发生交互的状态（相关性原则）；(2) 在动作选择过程中，根据智能体与物体之间相对距离的倒数对Q值进行加权（距离感知原则）。
• Q值更新规则（公式3）仅在智能体与感兴趣物体交互时更新Q值，从而减少噪声并聚焦于显著的状态-动作对的学习。
• 动作选择规则（公式4）通过与智能体到物体距离成比例的因子对Q值进行归一化，优先考虑距离近且相关的物体。
• 该框架在无模型设置下运行，完全依赖符号化状态表示与Q-learning，不涉及显式规划或世界模型。
• 该方法在基准导航游戏中进行了评估，智能体需在不同环境条件下收集正向物体并避开负向物体。

实验结果

研究问题

• RQ1 在Q-learning中融入常识原则是否能提升强化学习中的泛化能力与零样本迁移性能？
• RQ2 仅将Q值更新限制在相关物体交互状态是否相比标准Q-learning能实现更快、更有效的学习？
• RQ3 在符号强化学习中，通过物体距离对Q值进行加权是否能增强决策能力，而无需复杂规划或世界模型？
• RQ4 在确定性与随机环境中，SRL+CS相较于DQN、DSRL与标准Q-learning在准确率与学习速度方面表现如何？
• RQ5 在出现负迁移的情况下，由于依赖符号化Q-learning，SRL+CS是否比其他方法更严重地失败？如果是，原因是什么？

主要发现

• SRL+CS在最困难的测试场景中实现了100%的平均准确率——即在确定性环境中训练并在随机环境中测试——证明了其近乎完美的零样本迁移学习能力。
• 在同一测试场景中，DSRL仅达到70%的准确率，DQN为50%，凸显了SRL+CS在泛化能力上的显著优势。
• 在所有评估过的环境与任务变体中，SRL+CS的学习速度与效率均优于SRL、Q-learning、DQN与DSRL。
• 两种常识原则（基于相关性的更新与距离加权）的结合对于实现最佳性能至关重要；仅使用其中一种原则仅能带来部分改进。
• 在实验6中，由于物体位置冲突导致负迁移，SRL+CS与SRL均首先收集了负向物体，暴露出Q-learning在状态-动作泛化能力上的局限性。
• 尽管存在这一失败案例，SRL+CS在除一次实验外的所有实验中均优于其他所有方法，证实了其在多样化强化学习场景中的鲁棒性与有效性。