[论文解读] Programmatically Interpretable Reinforcement Learning

Abhinav Verma, Vijayaraghavan Murali+3 more|arXiv (Cornell University)|Apr 6, 2018

Adversarial Robustness in Machine Learning参考文献 35被引用 97

一句话总结

Pirl 学习以人类可读程序形式表达的策略，并由神经策略谕 oracle (Ndps) 指导，获得可解释且可验证的控制策略，在某些情况下比深度强化学习更易迁移。

ABSTRACT

We present a reinforcement learning framework, called Programmatically Interpretable Reinforcement Learning (PIRL), that is designed to generate interpretable and verifiable agent policies. Unlike the popular Deep Reinforcement Learning (DRL) paradigm, which represents policies by neural networks, PIRL represents policies using a high-level, domain-specific programming language. Such programmatic policies have the benefits of being more easily interpreted than neural networks, and being amenable to verification by symbolic methods. We propose a new method, called Neurally Directed Program Search (NDPS), for solving the challenging nonsmooth optimization problem of finding a programmatic policy with maximal reward. NDPS works by first learning a neural policy network using DRL, and then performing a local search over programmatic policies that seeks to minimize a distance from this neural "oracle". We evaluate NDPS on the task of learning to drive a simulated car in the TORCS car-racing environment. We demonstrate that NDPS is able to discover human-readable policies that pass some significant performance bars. We also show that PIRL policies can have smoother trajectories, and can be more easily transferred to environments not encountered during training, than corresponding policies discovered by DRL.

研究动机与目标

• 动机：在强化学习中需要可解释和可验证的策略，尤其是对安全关键应用。
• 提出一个用于策略的高层编程语言，以实现可解释性与可验证性。
• 引入 Neurally Directed Program Synthesis (Ndps)，通过模仿神经谕 oracle 来搜索最优的程序化策略。
• 展示 Ndps 能在 Torcs 赛车和经典控制任务中发现人类可读的策略。
• 显示程序化策略可以更平滑、更具可迁移性，并且更易于符号化验证。

提出的方法

• 定义一个领域特定的、无副作用的函数式策略语言，使用原子和序列来描述观测与行动。
• 使用草图来约束策略空间，编码先验结构并实现剪枝。
• 引入 Ndps，先训练一个神经策略（oracle），再对程序化策略进行局部搜索，以在一组有趣输入上最小化与 oracle 的距离。
• 采用输入增广，将来自当前策略的轨迹并入历史集 H。
• 使用贝叶斯优化（及在某些情况下，基于 SMT 的方法）对带参数的程序模板进行优化。
• 在 Torcs 赛车（Practice Mode）上使用类似 PID 的程序草图进行评估，并在三款经典控制游戏上评估。

实验结果

研究问题

• RQ1 是否可以通过高层策略语言和基于草图的搜索，在强化学习任务中产出可解释且性能良好的策略？
• RQ2 Ndps 是否能够生成接近神经策略且可读的人类可解读程序，同时保持一定的性能门槛？
• RQ3 程序化策略是否比深度强化学习策略更平滑、对部分观测性更鲁棒、并且更易迁移到未知环境？
• RQ4 是否可以将符号化验证技术应用于 Ndps 生成的策略，以保证某些性质？
• RQ5 在新赛道/环境中，Ndps 策略的可迁移性与 DRL 相相比如何？

主要发现

• Ndps 发现可解释、可读的人类策略，达到显著的性能门槛，尽管并非始终达到 DRL 的性能水平。
• Ndps 策略的轨迹更平滑，并且比相应的神经策略更能容忍噪声。
• Ndps 策略对缺失/嘈杂特征具有鲁棒性，相较于 DRL 在未见过的赛道上具备更好的迁移性。
• 程序化策略便于使用标准符号技术进行验证，从而对行为进行形式化推理。
• 在 Torcs 中，Ndps 策略在迁移场景下比 DRL 基线更能完成圈数并泛化到新赛道。