[论文解读] Reinforcement Learning with Knowledge Representation and Reasoning: A Brief Survey

Chao Yu, Ye, Shicheng+1 more|arXiv (Cornell University)|Apr 24, 2023

Data Stream Mining Techniques被引用 6

一句话总结

本综述探讨了将知识表示与推理（KRR）集成到强化学习（RL）中，以提升样本效率、泛化能力、安全性和可解释性。通过利用形式逻辑表示高层领域知识（如事实、关系和规则），实现更抽象、透明且可泛化的学习，从而解决传统RL在复杂现实环境中的关键局限性。

ABSTRACT

Reinforcement Learning (RL) has achieved tremendous development in recent years, but still faces significant obstacles in addressing complex real-life problems due to the issues of poor system generalization, low sample efficiency as well as safety and interpretability concerns. The core reason underlying such dilemmas can be attributed to the fact that most of the work has focused on the computational aspect of value functions or policies using a representational model to describe atomic components of rewards, states and actions etc, thus neglecting the rich high-level declarative domain knowledge of facts, relations and rules that can be either provided a priori or acquired through reasoning over time. Recently, there has been a rapidly growing interest in the use of Knowledge Representation and Reasoning (KRR) methods, usually using logical languages, to enable more abstract representation and efficient learning in RL. In this survey, we provide a preliminary overview on these endeavors that leverage the strengths of KRR to help solving various problems in RL, and discuss the challenging open problems and possible directions for future work in this area.

研究动机与目标

• 解决传统RL在应用于复杂现实问题时存在的样本效率、泛化能力和可解释性方面的局限性。
• 研究形式化知识表示（如逻辑规则、事实、关系）如何与RL集成以提升学习性能。
• 探索KRR在实现迁移学习、基于规则的推理以及可解释策略学习中的作用。
• 识别KRR增强型RL在理论分析、可扩展性和多智能体应用方面的开放挑战。
• 提供当前KRR-RL集成领域方法的结构化概述及未来研究方向。

提出的方法

• 使用形式化逻辑语言（如一阶逻辑、答案集编程、时序逻辑）表示高层领域知识，如对象、关系、规则和约束。
• 通过声明性逻辑将符号知识编码到奖励函数、状态表示或策略结构中，实现符号知识与RL的集成。
• 通过在已知基本单元上进行模块化和组合式推理，实现任务泛化（例如，将“送咖啡”和“送邮件”组合成新任务）。
• 通过用符号化、人类可读的规则策略替代黑箱策略，支持可解释性和安全性。
• 应用KRR技术（如自动推理、信念修正和模型检测）以验证和确认智能体行为。
• 结合函数逼近与符号抽象，将KRR-RL扩展到高维环境，同时管理表达能力与计算成本之间的权衡。

实验结果

研究问题

• RQ1 KRR方法如何通过引入先验知识提升强化学习中的样本效率？
• RQ2 符号知识在何种方式下增强不同但相关结构任务间的策略泛化能力？
• RQ3 形式逻辑的使用如何提升关键领域中RL策略的可解释性和安全性？
• RQ4 KRR集成RL系统在收敛性和样本复杂性方面的理论分析面临哪些挑战？
• RQ5 如何将KRR-RL扩展到具有战略互动和部分可观测性的复杂多智能体环境中？

主要发现

• 将KRR融入RL可显著提升样本效率，大幅减少学习所需的环境交互次数，尤其在稀疏奖励环境中效果明显。
• KRR通过允许对抽象且可重用的知识组件（如组合现有任务模块）进行组合式推理，实现更好的任务泛化能力。
• 基于逻辑规则生成的符号策略提升了可解释性和可信度，使RL在医疗保健和自动驾驶等安全关键应用中更具适用性。
• 当前的KRR-RL方法在OfficeWorld、Minecraft和机器人控制等领域的应用已展现出潜力，但其在大规模真实问题中的可扩展性仍是主要挑战。
• KRR-RL系统的理论分析尚处于起步阶段，关于收敛性、样本复杂性以及在动态抽象层级下的稳定性研究仍十分有限。
• 一个主要的开放挑战在于高效推理多智能体RL中的战略交互，尤其是在整合如交替时序逻辑（ATL）等形式化方法用于能力建模时。