[论文解读] Visual Diagnostics for Deep Reinforcement Learning Policy Development

Jieliang Luo, Sam Green+3 more|arXiv (Cornell University)|Sep 14, 2018

Reinforcement Learning in Robotics参考文献 7被引用 3

一句话总结

本文提出了一套视觉诊断技术——类别可视化、显著性映射和t-SNE——并将其适配于基于视觉的深度强化学习（DRL）策略。通过在模拟无人机环境中应用这些方法，作者揭示了策略的决策机制，暴露了其偏差，并识别出诸如过早经验过拟合或泛化能力差等缺陷，显著提升了DRL系统的可解释性与可信度。

ABSTRACT

Modern vision-based reinforcement learning techniques often use convolutional neural networks (CNN) as universal function approximators to choose which action to take for a given visual input. Until recently, CNNs have been treated like black-box functions, but this mindset is especially dangerous when used for control in safety-critical settings. In this paper, we present our extensions of CNN visualization algorithms to the domain of vision-based reinforcement learning. We use a simulated drone environment as an example scenario. These visualization algorithms are an important tool for behavior introspection and provide insight into the qualities and flaws of trained policies when interacting with the physical world. A video may be seen at https://sites.google.com/view/drlvisual .

研究动机与目标

• 为解决卷积神经网络（CNN）在基于视觉的深度强化学习（DRL）中的不透明性问题，尤其是在安全关键型网络物理系统中的应用。
• 将现有的CNN可视化技术——t-SNE、类别可视化与显著性映射——适配用于DRL策略分析。
• 使工程师能够通过可视化策略关注的特征及其选择特定动作的原因，实现对DRL策略的内省与调试。
• 通过视觉诊断识别出诸如过早经验过拟合或泛化能力差等缺陷。
• 通过使策略决策过程透明化与可分析化，提升DRL系统的可信度与可解释性。

提出的方法

• 扩展AirSim无人机模拟器，以支持强化学习任务，并收集用于策略分析的状态-动作轨迹。
• 应用t-SNE基于策略动作输出对状态观测进行聚类，揭示决策边界与策略行为聚类。
• 使用类别可视化生成能最大化特定动作（左转、前进、右转）概率的合成图像，展示策略与各动作关联的视觉模式。
• 采用显著性可视化方法突出图像中对策略动作选择最具影响力的部分，利用显著性图指示特征重要性。
• 使用可调学习率的REINFORCE算法训练策略，以研究训练动态对策略行为的影响。
• 通过分析动作概率分布及其对视觉输入变化的敏感性，可视化随机策略。

实验结果

研究问题

• RQ1 现有CNN可视化技术如何被适配以分析基于视觉的深度强化学习策略的决策过程？
• RQ2 高性能与低性能DRL策略学习到的视觉模式是什么？它们在对环境的感知上存在何种差异？
• RQ3 DRL策略在多大程度上表现出对特定视觉特征（如遮挡或背景图案）的偏差？这些偏差如何被诊断？
• RQ4 策略训练期间的学习率在多大程度上影响动作偏差的出现？可视化能否检测到早期过拟合？
• RQ5 视觉诊断能否揭示策略是基于有意义的环境线索还是虚假相关性做出决策？

主要发现

• 高性能策略生成的类别可视化清晰地将动作与立方体的空间位置关联——例如，当立方体位于摄像头视野左侧时，‘左转’动作被触发。
• 低性能策略生成的类别可视化中，所有动作均由噪声触发，表明其缺乏有意义的特征学习与泛化能力。
• 仅前进与右转的策略表明，过高的学习率可能导致过早收敛，即使‘左转’动作相关性显著，其概率仍被消除。
• 高性能策略的显著性可视化显示，最近的立方体最具显著性，证实策略关注的是最相关的环境特征。
• 在低性能策略中，显著性图显示对图像各区域的注意力分布均匀，表明缺乏可靠的特征优先级，决策能力差。
• 在仅前进与右转的策略中，显著性图揭示策略更关注地平线而非立方体，表明其未能关注到相关物体。