[论文解读] Overcoming Catastrophic Interference in Online Reinforcement Learning with Dynamic Self-Organizing Maps

Yat Long Lo, Sina Ghiassian|arXiv (Cornell University)|Oct 29, 2019

Data Stream Mining Techniques被引用 6

一句话总结

该论文提出了一种基于动态自组织映射（DSOM）增强的神经网络，用于在线、完全增量式强化学习，通过避免经验回放和目标网络，有效缓解灾难性遗忘。通过使用DSOM生成与状态相关的局部更新掩码，该方法实现局部权重更新，从而减少干扰，在Mountain Car和Lunar Lander任务上达到与基于经验回放的方法相当或更优的性能，同时所需隐藏单元更少。

ABSTRACT

Using neural networks in the reinforcement learning (RL) framework has achieved notable successes. Yet, neural networks tend to forget what they learned in the past, especially when they learn online and fully incrementally, a setting in which the weights are updated after each sample is received and the sample is then discarded. Under this setting, an update can lead to overly global generalization by changing too many weights. The global generalization interferes with what was previously learned and deteriorates performance, a phenomenon known as catastrophic interference. Many previous works use mechanisms such as experience replay (ER) buffers to mitigate interference by performing minibatch updates, ensuring the data distribution is approximately independent-and-identically-distributed (i.i.d.). But using ER would become infeasible in terms of memory as problem complexity increases. Thus, it is crucial to look for more memory-efficient alternatives. Interference can be averted if we replace global updates with more local ones, so only weights responsible for the observed data sample are updated. In this work, we propose the use of dynamic self-organizing map (DSOM) with neural networks to induce such locality in the updates without ER buffers. Our method learns a DSOM to produce a mask to reweigh each hidden unit's output, modulating its degree of use. It prevents interference by replacing global updates with local ones, conditioned on the agent's state. We validate our method on standard RL benchmarks including Mountain Car and Lunar Lander, where existing methods often fail to learn without ER. Empirically, we show that our online and fully incremental method is on par with and in some cases, better than state-of-the-art in terms of final performance and learning speed. We provide visualizations and quantitative measures to show that our method indeed mitigates interference.

研究动机与目标

• 解决在线、完全增量式强化学习中因全局权重更新导致神经网络遗忘过去知识的灾难性遗忘问题。
• 消除对经验回放缓冲区和目标网络的依赖，这些机制在复杂、大规模问题中内存开销大且不切实际。
• 开发一种内存高效的机制，通过基于状态相似性的局部化权重更新实现稳定、增量式学习。
• 证明基于DSOM的局部、状态条件更新可实现与使用经验回放和目标网络的最先进方法相当或更优的性能。
• 通过定性和定量指标（包括激活局部化和干扰度量）验证该方法能有效减少干扰。

提出的方法

• 引入动态自组织映射（DSOM）以生成与状态相关的掩码，调节每个隐藏单元输出的贡献度。
• 利用DSOM对权重更新进行条件控制，使得仅对当前状态敏感的隐藏单元被更新，从而实现学习过程的局部化。
• 将掩码应用于重加权隐藏单元激活，确保更新仅影响一小部分相关参数，从而减少干扰。
• 采用带线搜索的Adam优化器（ALR）以进一步稳定学习过程，尤其在高维状态空间中降低干扰。
• 以端到端方式联合训练DSOM与神经网络，使映射能够自适应学习状态特定的表示。
• 完全避免使用经验回放和目标网络，实现内存开销极低的完全在线、增量式学习。

实验结果

研究问题

• RQ1 是否存在一种内存高效、在线、完全增量式强化学习方法，可在无需经验回放缓冲区的情况下缓解灾难性遗忘？
• RQ2 通过动态自组织映射实现权重更新的局部化，是否相比全局更新能更有效地减少神经网络中的干扰？
• RQ3 基于DSOM的局部化是否能以更少的隐藏单元实现有效学习，从而提升样本效率和参数效率？
• RQ4 在标准强化学习基准上，该方法与基于经验回放的基线方法相比，最终性能和学习速度如何？
• RQ5 通过激活重叠和定量干扰度量，该方法在多大程度上减少了干扰？

主要发现

• 所提方法在Mountain Car和Lunar Lander任务上的性能与基于经验回放的方法相当或更优，且无需经验回放或目标网络。
• 在Mountain Car任务中，该方法仅用36个隐藏单元即成功解决任务，显著少于基线方法，证明了更高的参数效率。
• 定量干扰度量显示，DSOM方法的干扰得分最低（0.1079），表明不同状态间激活重叠最小。
• 可视化结果表明，DSOM隐藏单元仅对状态空间的局部区域有响应，证实了该方法能诱导出局部化、专业化的表示。
• 该方法的学习速度优于基于经验回放的基线方法，且性能保持稳定，而基于经验回放的方法表现出学习不稳定和性能下降。
• 移除ALR优化器后，所有方法的性能均下降，表明ALR在稳定学习中起关键作用，尤其在无目标网络的情况下。