[论文解读] Structure in Deep Reinforcement Learning: A Survey and Open Problems

Aditya Mohan, Amy Zhang+1 more|arXiv (Cornell University)|Jun 28, 2023

Software Engineering Research被引用 6

一句话总结

本文提出了一种统一框架，通过七种设计模式将结构化归纳偏置（如潜在的、因子化的、关系的和模块化的分解）整合到深度强化学习（DRL）中。通过将结构视为关于问题可分解性的辅助信息，并将方法组织为抽象、增强、辅助优化、辅助模型、仓储、环境生成以及显式设计等模式，该工作使强化学习智能体在样本效率、泛化能力、可解释性和安全性方面得到提升，为系统性地基于设计模式的强化学习研究奠定了基础。

ABSTRACT

Reinforcement Learning (RL), bolstered by the expressive capabilities of Deep Neural Networks (DNNs) for function approximation, has demonstrated considerable success in numerous applications. However, its practicality in addressing various real-world scenarios, characterized by diverse and unpredictable dynamics, noisy signals, and large state and action spaces, remains limited. This limitation stems from poor data efficiency, limited generalization capabilities, a lack of safety guarantees, and the absence of interpretability, among other factors. To overcome these challenges and improve performance across these crucial metrics, one promising avenue is to incorporate additional structural information about the problem into the RL learning process. Various sub-fields of RL have proposed methods for incorporating such inductive biases. We amalgamate these diverse methodologies under a unified framework, shedding light on the role of structure in the learning problem, and classify these methods into distinct patterns of incorporating structure. By leveraging this comprehensive framework, we provide valuable insights into the challenges of structured RL and lay the groundwork for a design pattern perspective on RL research. This novel perspective paves the way for future advancements and aids in developing more effective and efficient RL algorithms that can potentially handle real-world scenarios better.

研究动机与目标

• 为解决深度强化学习在现实场景中的局限性，如数据效率低下、泛化能力有限以及缺乏可解释性。
• 统一不同子领域中将领域结构整合到DRL的零散方法。
• 通过形式化结构化归纳偏置如何提升学习性能，建立强化学习的设计模式视角。
• 识别并分类问题可分解性为四种典范：潜在的、因子化的、关系的和模块化的。
• 为研究人员提供一个系统性框架，根据问题特征选择合适的结构整合模式。

提出的方法

• 将强化学习问题形式化为马尔可夫决策过程（MDPs），并定义包含状态、动作、奖励和动态的强化学习流程。
• 引入“辅助信息”作为一类领域知识，其中结构是其关键形式。
• 将结构定义为关于可分解性的辅助信息——具体而言，即潜在的、因子化的、关系的和模块化的典范，代表了问题组织的谱系。
• 提出七种整合结构的模式：抽象、增强、辅助优化、辅助模型、仓储、环境生成以及显式设计。
• 将文献中的现有DRL方法映射到这些模式，展示结构化归纳偏置在实践中已被应用。
• 利用该框架指导元强化学习研究，通过将任务可分解性与适应策略、课程设计和模型仓储相联系。

Figure 1 : Overview of our framework. Domain knowledge can generally be incorporated into an RL pipeline as side information and can be used to achieve improved performance across metrics such as Sample Efficiency , Generalization , Interpretability , and Safety . We discuss this process in Section

实验结果

研究问题

• RQ1 如何系统性地对结构化归纳偏置进行分类并将其整合到深度强化学习中以提升性能？
• RQ2 哪些是捕捉强化学习问题中结构信息谱系的关键问题可分解性典范？
• RQ3 哪些设计模式最有效地将结构知识整合到强化学习流程中，它们在应用上如何不同？
• RQ4 结构整合如何增强强化学习智能体的样本效率、泛化能力、可解释性和安全性？
• RQ5 该框架在哪些方面可指导未来元强化学习研究及强化学习系统的现实世界部署？

主要发现

• 本文识别出四种核心可分解性典范——潜在的、因子化的、关系的和模块化的——代表了强化学习问题中结构组织的谱系。
• 正式提出了七种将结构整合到强化学习流程中的不同模式：抽象、增强、辅助优化、辅助模型、仓储、环境生成以及显式设计。
• 该框架实现了对现有方法系统性地映射到结构整合模式，揭示了不同子领域中共享的原则。
• 通过将结构分解与元强化学习相联系，该框架表明任务可分解性可指导适应策略、课程学习和模型初始化。
• 该工作为基于设计模式的强化学习方法奠定了基础，为研究人员提供了一个共同参考，可根据问题结构选择和开发方法。
• 作者得出结论：尽管所提出的框架是重要第一步，但并非详尽无遗，未来工作应扩展模式库，以进一步统一并推进该领域。

Figure 2 : The anatomy of an RL pipeline.