[论文解读] The Utility of Sparse Representations for Control in Reinforcement Learning

Vincent Liu, Raksha Kumaraswamy+2 more|arXiv (Cornell University)|Nov 15, 2018

Reinforcement Learning in Robotics参考文献 29被引用 9

一句话总结

本文提出了一种新方法——稀疏表示神经网络（SR-NN），采用分布正则化器（特别是集合KL散度）在深度强化学习中学习稀疏且局部化的表示。通过利用激活分布强制实现低且稳定的节点活动，SR-NN在增量学习设置中减少了灾难性干扰，并在各类环境中提升了控制性能，优于标准的密集网络和先前的稀疏学习方法。

ABSTRACT

We investigate sparse representations for control in reinforcement learning. While these representations are widely used in computer vision, their prevalence in reinforcement learning is limited to sparse coding where extracting representations for new data can be computationally intensive. Here, we begin by demonstrating that learning a control policy incrementally with a representation from a standard neural network fails in classic control domains, whereas learning with a representation obtained from a neural network that has sparsity properties enforced is effective. We provide evidence that the reason for this is that the sparse representation provides locality, and so avoids catastrophic interference, and particularly keeps consistent, stable values for bootstrapping. We then discuss how to learn such sparse representations. We explore the idea of Distributional Regularizers, where the activation of hidden nodes is encouraged to match a particular distribution that results in sparse activation across time. We identify a simple but effective way to obtain sparse representations, not afforded by previously proposed strategies, making it more practical for further investigation into sparse representations for reinforcement learning.

研究动机与目标

• 探究稀疏表示是否能改善强化学习中的增量策略学习。
• 识别密集神经网络表示在增量强化学习中因灾难性干扰而失败的原因。
• 开发一种实用且可扩展的神经网络稀疏表示学习方法。
• 评估稀疏性对控制任务中bootstrapping稳定性和策略性能的影响。
• 将SR-NN与现有强化学习环境中的稀疏表示学习方法进行比较。

提出的方法

• 提出一种稀疏表示神经网络（SR-NN），通过分布正则化器强制隐藏层激活的稀疏性。
• 采用集合KL散度正则化器，以在时间维度上促进稀疏且局部化的激活模式，实现稳定且低活动的表示。
• 使用改进的训练目标，对每个隐藏单元的激活分布进行正则化，使其匹配稀疏目标分布。
• 在在线增量学习过程中应用正则化器，以维持bootstrapping的一致价值估计。
• 将SR-NN与ℓ1/ℓ2正则化、k-稀疏及WTA-NN等替代方法进行比较，使用ReLU和Sigmoid激活函数。
• 采用带函数逼近的Sarsa(0)算法，在经典控制领域评估性能。

实验结果

研究问题

• RQ1 在神经网络表示中强制稀疏性是否能提升增量强化学习中的控制性能？
• RQ2 为何密集表示在增量强化学习中会失败？稀疏性如何缓解此问题？
• RQ3 像集合KL这样的分布正则化器能否有效学习稀疏且稳定的表示，而不会出现样本外问题？
• RQ4 SR-NN与现有稀疏表示学习方法相比，在稀疏性和性能方面表现如何？
• RQ5 稀疏性在多大程度上减少了基于bootstrapping的强化学习算法中的灾难性干扰？

主要发现

• SR-NN在所有测试领域（包括Puddle World、Mountain Car和Catcher）的增量Sarsa(0)学习中显著优于标准密集神经网络。
• 使用Sigmoid激活函数配合KL正则化器（SIG+KL和SIG+SKL）未能产生有意义的稀疏性，导致密集激活模式和性能低下。
• ReLU配合指数分布正则化器实现了高实例稀疏性（2–3%）和稳定性能，而对激活函数使用ℓ2正则化在大多数领域中的表现与SR-NN相当。
• k-sparse-NN和WTA-NN方法因神经元死亡和稀疏性控制不佳而表现无效，尽管其理论吸引力较强。
• 热力图显示，SR-NN产生局部化且稀疏的激活，而基线方法如SIG+KL则几乎激活所有隐藏单元。
• 结果表明，稀疏性通过在bootstrapping过程中保持稳定的价值估计，减少了灾难性干扰，尤其在单任务、顺序学习设置中效果显著。