[论文解读] Privileged Information Dropout in Reinforcement Learning

Pierre-Alexandre Kamienny, Kai Arulkumaran+3 more|arXiv (Cornell University)|May 19, 2020

Reinforcement Learning in Robotics参考文献 26被引用 7

一句话总结

本文提出了一种名为特权信息丢弃（PI-Dropout）的方法，通过基于特权信息（PI）条件化的噪声调制，将PI注入智能体输入，从而在强化学习中提升样本效率和性能。在部分可观测导航环境中，PI-Dropout优于蒸馏和辅助任务方法，实现了接近最优（oracle）的性能，同时在多种类型的PI（如完整状态和子目标）上表现出良好的泛化能力。

ABSTRACT

Using privileged information during training can improve the sample efficiency and performance of machine learning systems. This paradigm has been applied to reinforcement learning (RL), primarily in the form of distillation or auxiliary tasks, and less commonly in the form of augmenting the inputs of agents. In this work, we investigate Privileged Information Dropout (\pid) for achieving the latter which can be applied equally to value-based and policy-based RL algorithms. Within a simple partially-observed environment, we demonstrate that \pid outperforms alternatives for leveraging privileged information, including distillation and auxiliary tasks, and can successfully utilise different types of privileged information. Finally, we analyse its effect on the learned representations.

研究动机与目标

• 通过在训练过程中利用特权信息（PI），提升强化学习中的样本效率和性能。
• 探索一种将PI作为输入特征而非通过蒸馏或辅助任务的新范式。
• 评估基于信息瓶颈理论推导出的PI-Dropout方法是否能增强强化学习中的表征学习和泛化能力。
• 将PI-Dropout与现有基于PI的方法（包括蒸馏和辅助预测任务）进行对比。
• 分析PI-Dropout对部分可观测环境中智能体内部表征和行为的影响。

提出的方法

• PI-Dropout采用一种噪声调制机制，其中应用于表征的丢弃噪声的方差由特权输入特征 $\mathbf{x}^*$ 决定，而非主输入 $\mathbf{x}$。
• 表征 $\mathbf{z}$ 的计算方式为 $\mathbf{z} = h(\mathbf{x};W) \odot \text{Lognormal}(\mathbf{0}, h^*(\mathbf{x}^*;W^*))$，其中 $h^*$ 将PI映射为噪声方差。
• 该方法基于信息瓶颈理论，旨在最小化输入 $\mathbf{x}$ 与表征 $\mathbf{z}$ 之间的互信息，同时保留与任务相关的信息。
• 推理阶段，PI子网络被禁用，噪声方差设为零，以边缘化 $\mathbf{x}^*$，确保部署时的鲁棒性。
• 该方法兼容基于值函数和基于策略的强化学习算法，包括A3C、PPO和DRQN。
• PI-Dropout在网格世界导航任务中与蒸馏、辅助预测和标准信息丢弃等基线方法进行了对比评估。

实验结果

研究问题

• RQ1 PI-Dropout能否在利用特权信息进行强化学习方面优于蒸馏和辅助任务方法？
• RQ2 PI-Dropout能否在不同类型的特权信息（如完整状态和子目标）之间实现泛化？
• RQ3 PI-Dropout的性能提升是源于对PI的使用，还是仅仅是丢弃正则化的副作用？
• RQ4 PI-Dropout如何影响智能体内部状态的表征能力，特别是在位置可解码性方面？
• RQ5 PI-Dropout能否提升探索能力，或可否与其他探索增强技术结合应用于强化学习？

主要发现

• PI-Dropout优于蒸馏、辅助任务和标准信息丢弃方法，在部分可观测导航任务中实现了最接近最优智能体的性能。
• PI-Dropout智能体能从所有初始位置（包括最远的房间）成功完成任务，而其他基线方法在最左侧房间失败。
• 采用子目标PI的PI-Dropout智能体（PI-D[5x5,SG]）性能与完整状态PI变体相当，证明了其在不同PI类型上的泛化能力。
• 与标准信息丢弃（I-D[5x5,5x5]）的消融实验表明，PI-Dropout的性能提升源于对PI的使用，而非单纯的丢弃正则化。
• 基于GRU激活训练的线性分类器显示，PI-Dropout在智能体位置的线性可解码性方面（准确率88.8%）与基线DRQN（准确率90.1%）相比无显著提升，表明任务成功并不依赖于线性可分的表征。
• PI-Dropout展现出更快的收敛速度和在不同随机种子下的稳定性能，表明其训练更稳定且样本效率更高。