[论文解读] Normalization Enhances Generalization in Visual Reinforcement Learning

Lu Li, Jiafei Lyu+5 more|arXiv (Cornell University)|Jun 1, 2023

Tactile and Sensory InteractionsNeuroscience被引用 3

一句话总结

本文提出一种即插即用的归一化模块，结合CrossNorm与SelfNorm，以在不依赖域外数据或任务特定修改的前提下，提升视觉强化学习中的泛化能力。当与DrQ-v2结合时，其在未见过的天气条件下于CARLA环境中的性能从14%提升至训练性能的97%。

ABSTRACT

Recent advances in visual reinforcement learning (RL) have led to impressive success in handling complex tasks. However, these methods have demonstrated limited generalization capability to visual disturbances, which poses a significant challenge for their real-world application and adaptability. Though normalization techniques have demonstrated huge success in supervised and unsupervised learning, their applications in visual RL are still scarce. In this paper, we explore the potential benefits of integrating normalization into visual RL methods with respect to generalization performance. We find that, perhaps surprisingly, incorporating suitable normalization techniques is sufficient to enhance the generalization capabilities, without any additional special design. We utilize the combination of two normalization techniques, CrossNorm and SelfNorm, for generalizable visual RL. Extensive experiments are conducted on DMControl Generalization Benchmark and CARLA to validate the effectiveness of our method. We show that our method significantly improves generalization capability while only marginally affecting sample efficiency. In particular, when integrated with DrQ-v2, our method enhances the test performance of DrQ-v2 on CARLA across various scenarios, from 14% of the training performance to 97%.

研究动机与目标

• 解决视觉强化学习智能体在面对颜色和背景变化等视觉干扰时泛化能力有限的问题。
• 探究归一化技术——此前在监督学习中表现成功——是否能提升视觉强化学习中的零样本泛化能力。
• 开发一种自包含的方法，通过不依赖外部数据、预训练模型或领域特定设计来增强泛化能力。
• 展示所提出的归一化模块在多种基准和基础算法中的有效性与兼容性。

提出的方法

• 将CrossNorm与SelfNorm集成到视觉强化学习智能体的编码器中，以在分布偏移下稳定并改善表示学习。
• 使用CrossNorm对一批观测样本的特征进行归一化，以增强对视觉变化的鲁棒性。
• 应用SelfNorm对每个独立观测样本内的特征进行归一化，以提升局部不变性与特征一致性。
• 将两种归一化技术结合为即插即用模块，可无缝嵌入任意视觉强化学习算法中。
• 在CrossNorm的批量统计计算中引入随机裁剪，以提升泛化能力，尤其在复杂环境中表现更优。
• 确保该方法与现有泛化技术（如SVEA）兼容，实现协同性能提升。

实验结果

研究问题

• RQ1 是否能在不依赖域外数据或预训练模型的前提下，通过CrossNorm与SelfNorm等归一化技术提升视觉强化学习中的泛化能力？
• RQ2 CrossNorm与SelfNorm的组合相较于单独使用任一方法，在视觉强化学习中表现如何？
• RQ3 在CrossNorm的批量统计计算中引入随机裁剪是否能提升视觉强化学习中的泛化性能？
• RQ4 所提出的归一化模块是否能与现有视觉强化学习泛化算法（如SVEA）有效结合？
• RQ5 该方法在真实世界模拟器（如CARLA）上的零样本泛化能力提升程度如何？

主要发现

• 所提出的CrossNorm与SelfNorm（CNSN）模块显著提升了视觉强化学习中的泛化能力，当与DrQ-v2结合时，CARLA环境下的测试性能从14%提升至训练性能的97%。
• 消融实验表明，若在CrossNorm中移除随机裁剪，平均性能下降高达30%，证实其对鲁棒性的关键作用。
• 仅使用CrossNorm在部分任务中可达到与完整CNSN模块相当的性能，但组合方法在复杂环境中始终优于单一组件。
• 仅使用SelfNorm会因对稳定统计量的过拟合而降低性能，但与CrossNorm结合后可显著提升效果。
• CNSN模块能有效提升其他算法（如DrQ与SVEA）的泛化能力，证明其与现有方法具有良好的兼容性与协同效应。
• 该方法在显著提升泛化能力的同时保持了高样本效率，表明在样本效率与鲁棒性之间几乎没有权衡。