[论文解读] Time Matters in Using Data Augmentation for Vision-based Deep Reinforcement Learning.

Byungchan Ko, Jungseul Ok|arXiv (Cornell University)|Feb 17, 2021

Reinforcement Learning in Robotics参考文献 34被引用 4

一句话总结

本文研究了视觉强化学习中数据增强的时机，表明当正则化效果仅在推理（测试）阶段需要时，将增强延迟到推理阶段可提高样本效率和计算效率。相反，若增强在训练阶段也有益处，则必须在整个训练过程中应用，以最大化数据效率和泛化能力。

ABSTRACT

Data augmentation technique from computer vision has been widely considered as a regularization method to improve data efficiency and generalization performance in vision-based reinforcement learning. We variate the timing of using augmentation, which is, in turn, critical depending on tasks to be solved in training and testing. According to our experiments on Open AI Procgen Benchmark, if the regularization imposed by augmentation is helpful only in testing, it is better to procrastinate the augmentation after training than to use it during training in terms of sample and computation complexity. We note that some of such augmentations can disturb the training process. Conversely, an augmentation providing regularization useful in training needs to be used during the whole training period to fully utilize its benefit in terms of not only generalization but also data efficiency. These phenomena suggest a useful timing control of data augmentation in reinforcement learning.

研究动机与目标

• 研究数据增强的时机如何影响视觉强化学习中的训练与推理过程。
• 确定在训练阶段应用增强还是仅在推理阶段应用，能带来更好的样本效率和计算效率。
• 确定在何种条件下数据增强可提升泛化能力与数据效率。
• 根据任务特定的正则化需求，提供在何时以及如何应用数据增强的实用指导。

提出的方法

• 作者系统性地改变数据增强的时机——仅在推理阶段应用、仅在训练阶段应用，或在两个阶段均应用。
• 在OpenAI Procgen基准上进行实验，以评估在多样化视觉强化学习环境中的性能表现。
• 比较在不同阶段应用增强时的训练动态与测试性能，测量样本效率与计算成本。
• 基于正则化效果是否在训练阶段有益或仅在推理阶段有益，分析其影响。
• 评估标准增强技术及其对策略泛化能力与学习稳定性的影响力。
• 消融研究分离了增强时机的贡献，区分其在泛化与数据效率中的作用。

实验结果

研究问题

• RQ1 在视觉强化学习中，数据增强在何时最有效——在训练阶段还是推理阶段？
• RQ2 数据增强的时机如何影响样本效率与计算复杂度？
• RQ3 在何种条件下，增强能提升泛化能力而非数据效率，或反之？
• RQ4 能否将增强延迟到推理阶段，以减少训练开销而不影响性能？
• RQ5 什么决定了应在整个训练过程中应用增强，还是仅在测试阶段应用？

主要发现

• 当正则化仅在推理阶段需要时，仅在推理阶段应用数据增强可实现更高的样本效率与计算效率。
• 当正则化效果在学习过程中也有益时，必须在训练阶段应用增强，才能最大化数据效率与泛化能力。
• 某些增强方法若过早应用，可能破坏训练过程，表明时机对稳定学习至关重要。
• 在训练阶段无需增强的情况下，将增强延迟到推理阶段可降低训练复杂度，且不损害测试性能。
• 数据增强在强化学习中的有效性取决于其正则化效果是否在训练阶段有用，或仅在推理阶段有用。
• 本研究提供了实证证据，表明控制数据增强的时机是平衡效率与性能的关键因素。