[论文解读] Two geometric input transformation methods for fast online reinforcement learning with neural nets

Sina Ghiassian, Huizhen Yu+2 more|arXiv (Cornell University)|May 18, 2018

Neuroinflammation and Neurodegeneration Mechanisms参考文献 21被引用 7

一句话总结

本文提出了两种几何输入变换方法——瓦片编码（tile coding）和EmECS——以减少使用ReLU神经网络进行在线强化学习时的灾难性遗忘。通过将输入转换为支持局部泛化的形式，这些方法实现了无需经验回放的完全增量式训练，相较于标准神经网络或使用线性函数逼近器的瓦片编码，实现了更快、更精确的学习。

ABSTRACT

We apply neural nets with ReLU gates in online reinforcement learning. Our goal is to train these networks in an incremental manner, without the computationally expensive experience replay. By studying how individual neural nodes behave in online training, we recognize that the global nature of ReLU gates can cause undesirable learning interference in each node's learning behavior. We propose reducing such interferences with two efficient input transformation methods that are geometric in nature and match well the geometric property of ReLU gates. The first one is tile coding, a classic binary encoding scheme originally designed for local generalization based on the topological structure of the input space. The second one (EmECS) is a new method we introduce; it is based on geometric properties of convex sets and topological embedding of the input space into the boundary of a convex set. We discuss the behavior of the network when it operates on the transformed inputs. We also compare it experimentally with some neural nets that do not use the same input transformations, and with the classic algorithm of tile coding plus a linear function approximator, and on several online reinforcement learning tasks, we show that the neural net with tile coding or EmECS can achieve not only faster learning but also more accurate approximations. Our results strongly suggest that geometric input transformation of this type can be effective for interference reduction and takes us a step closer to fully incremental reinforcement learning with neural nets.

研究动机与目标

• 解决在线强化学习中使用神经网络时的灾难性遗忘问题，其中权重更新导致函数全局变化并遗忘先前知识。
• 通过实现无需经验回放的完全增量式在线训练，克服经验回放的局限性。
• 开发与ReLU激活函数几何特性相匹配的输入变换技术，以促进局部泛化并减少干扰。
• 证明几何输入变换在在线强化学习设置中可优于标准神经网络和使用线性函数逼近器的经典瓦片编码。
• 将几何输入方法的适用范围扩展至高维和真实世界机器人任务的离策略学习。

提出的方法

• 应用瓦片编码——一种经典的二进制编码方案，可保持输入空间的拓扑结构——将原始输入转换为稀疏且对局部敏感的特征，用于ReLU神经网络。
• 提出EmECS（凸集极点嵌入），一种新颖的几何方法，将输入空间嵌入凸集的边界中，使ReLU神经元产生局部响应行为。
• 将变换后的输入作为单隐藏层ReLU激活神经网络的输入，无需经验回放进行增量式训练。
• 利用瓦片编码和EmECS的几何特性，约束ReLU神经元仅对局部邻域产生响应，从而在权重更新期间减少全局干扰。
• 使用具有资格迹的时序差分学习方法进一步稳定学习过程并提高样本效率。
• 在多个强化学习任务中，将性能与标准神经网络（使用原始输入）、瓦片编码与线性函数逼近器（TC-Lin）及其他基线方法进行比较。

实验结果

研究问题

• RQ1 几何输入变换能否减少使用ReLU神经网络进行在线强化学习时的灾难性遗忘？
• RQ2 在在线强化学习中，瓦片编码和EmECS相较于标准神经网络和TC-Lin在学习速度和准确性方面表现如何？
• RQ3 这些变换在多大程度上实现了无需经验回放的完全增量式训练？
• RQ4 在具有离策略数据的高维、真实世界机器人任务中，这些方法表现如何？
• RQ5 当与几何输入变换结合时，资格迹能否进一步提升学习性能？

主要发现

• 使用瓦片编码的神经网络（TC-NN）和EmECS相比标准神经网络具有更优的局部泛化能力，在在线训练中显著减少了灾难性遗忘。
• 在高维问题中，TC-NN优于TC-Lin，证明了神经网络非线性特性带来的更优函数逼近能力。
• 在150维RGB输入的Kobuki机器人碰撞预测任务中，TC-NN和EmECS在学习速度和准确性上均优于基线方法。
• 将资格迹与所提方法结合后，进一步提升了学习速度和准确性，表明其与现有自举技术具有良好的兼容性。
• 结果表明，即使在复杂高维环境中，几何输入变换也十分有效，其应用价值已超越低维表格型任务。
• 这些方法在不限制网络表示能力的前提下减少了干扰，而线性函数逼近器则因线性限制而能力受限。