[论文解读] Re-understanding Finite-State Representations of Recurrent Policy Networks

Mohamad H. Danesh, Anurag Koul+2 more|arXiv (Cornell University)|Jun 6, 2020

Social Policy and Reform Studies被引用 5

一句话总结

本文通过分析从量化RNN中提取的未最小化有限状态机（FSM），提出了一种新型可解释性方法，用于循环策略网络，保留了具有语义意义的决策点。与以往最小化FSM并掩盖策略洞察的方法不同，该方法采用可解释的简化、差异注意力机制和功能剪枝，揭示出Atari游戏策略本质上是经过剪枝的开环控制器，其战略决策对观测的依赖极低。

ABSTRACT

We introduce an approach for understanding control policies represented as recurrent neural networks. Recent work has approached this problem by transforming such recurrent policy networks into finite-state machines (FSM) and then analyzing the equivalent minimized FSM. While this led to interesting insights, the minimization process can obscure a deeper understanding of a machine's operation by merging states that are semantically distinct. To address this issue, we introduce an analysis approach that starts with an unminimized FSM and applies more-interpretable reductions that preserve the key decision points of the policy. We also contribute an attention tool to attain a deeper understanding of the role of observations in the decisions. Our case studies on 7 Atari games and 3 control benchmarks demonstrate that the approach can reveal insights that have not been previously noticed.

研究动机与目标

• 解决最小化有限状态机（FSM）在解释循环策略网络时的局限性，因为最小化会合并语义上不同的状态。
• 通过引入更结构化、可解释的基于FSM的框架，克服基于注意力分析的主观性与潜在误解。
• 开发技术以在RNN策略的FSM表示中保留决策逻辑与战略意义，尤其针对复杂控制任务。
• 探究观测在策略决策中是否具有战略意义，还是仅仅是非紧凑策略学习的副产品。
• 证明功能剪枝可测试观测条件分支的必要性，揭示策略是否真正具备反应性，或实际上等同于开环控制器。

提出的方法

• 将训练好的循环策略网络（RNN）的观测与记忆量化为离散状态，形成未最小化的Moore机（MM）表示。
• 应用可解释的简化方法，在压缩FSM可视化的同时保留分支状态与决策逻辑，例如将非分支状态序列替换为抽象转移。
• 引入差异注意力机制，识别在分支状态处对决策影响最大的输入特征，从而揭示观测的相关性。
• 通过功能剪枝，仅在每个决策点保留一条分支，以测试基于观测的分支是否具有战略必要性。
• 利用生成的简化FSM分析策略行为，并评估在无观测依赖分支的情况下性能是否得以维持。
• 在7个确定性Atari游戏和3个连续控制基准上验证该方法，与先前基于注意力的方法进行比较。

实验结果

研究问题

• RQ1 通过FSM分析，观测在Atari游戏训练的循环策略网络中在多大程度上发挥战略作用？
• RQ2 未最小化的FSM表示能否保留最小化FSM中被掩盖的语义上明确的决策点？
• RQ3 对观测的注意力图是否可靠地指示了战略重要性，还是可能因非直观的特征加权而产生误导？
• RQ4 在确定性环境中，循环策略是否学习了基于观测的策略，还是实际上退化为开环控制器？
• RQ5 功能剪枝能否识别出观测条件分支是否本质必要，还是仅是非紧凑策略学习的副产品？

主要发现

• 所有分析的Atari策略均被发现为剪枝的开环控制器，因为在每个决策点仅保留一条分支时，性能得以保持。
• 差异注意力机制揭示，在Atari游戏中，观测通常未被用于具有战略意义的决策，注意力多集中于非直观或冗余的特征。
• 在Acrobot和Lunar Lander等连续控制任务中，FSM揭示了可解释的决策逻辑，例如基于速度的阈值用于动作选择。
• 对于Lunar Lander，初始决策点利用速度特征选择发动机点火动作，而忽略位置和起落架状态，表明存在战略性早期稳定阶段。
• 该方法发现，在随机环境中，FSM变得庞大且碎片化，表明当前量化方法可能存在局限，或策略可能以最近邻方式编码行为。
• 在复杂且随机的环境（如Lunar Lander）中，功能剪枝无效，表明观测在这些任务中具有强烈的战略作用，与确定性Atari游戏中的情况不同。