[论文解读] On the Benefits of Invariance in Neural Networks

Clare Lyle, Mark van der Wilk+3 more|arXiv (Cornell University)|May 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 24被引用 17

一句话总结

本文从理论上分析了数据增强和特征平均——两种广泛用于在神经网络中引入不变性的方法——表明特征平均通常比数据增强具有更好的泛化性能、更低的风险方差以及更紧的PAC-Bayes界，尤其是在凸损失下。作者证明了特征平均可降低模型复杂度并提升泛化保证，即使通过蒙特卡洛采样近似实现也是如此。

ABSTRACT

Many real world data analysis problems exhibit invariant structure, and models that take advantage of this structure have shown impressive empirical performance, particularly in deep learning. While the literature contains a variety of methods to incorporate invariance into models, theoretical understanding is poor and there is no way to assess when one method should be preferred over another. In this work, we analyze the benefits and limitations of two widely used approaches in deep learning in the presence of invariance: data augmentation and feature averaging. We prove that training with data augmentation leads to better estimates of risk and gradients thereof, and we provide a PAC-Bayes generalization bound for models trained with data augmentation. We also show that compared to data augmentation, feature averaging reduces generalization error when used with convex losses, and tightens PAC-Bayes bounds. We provide empirical support of these theoretical results, including a demonstration of why generalization may not improve by training with data augmentation: the `learned invariance' fails outside of the training distribution.

研究动机与目标

• 理解在深度学习中，基于不变性假设下的数据增强与特征平均的理论优势与局限性。
• 比较数据增强与特征平均在泛化性能和风险估计质量方面的表现。
• 为采用这些不变性编码方法训练的模型推导理论保证，特别是PAC-Bayes界。
• 研究不变性方法在何种情况下以及为何可能无法泛化到训练分布之外。
• 为实际应用中选择数据增强与特征平均提供实用指导。

提出的方法

• 基于群作用G对旋转或排列等变换进行建模，对群不变性下的风险、梯度方差与泛化界进行理论分析。
• 推导适用于数据增强的PAC-Bayes泛化界，表明其即使在违反独立同分布假设的情况下依然适用。
• 证明在凸损失函数下，特征平均可实现更低的期望风险与更低方差的风险估计器。
• 通过在群轨道上进行平均，引入对称化模型类，从而降低模型熵并收紧PAC-Bayes界。
• 使用蒙特卡洛近似模拟特征平均与数据增强，以实现对理论结论的实证验证。
• 在FashionMNIST与ModelNet10上进行实证评估，利用随机神经网络计算不同不变性方案下的PAC-Bayes界。

实验结果

研究问题

• RQ1 数据增强是否比标准训练带来更好的泛化性能？在何种条件下？
• RQ2 在风险估计方差与泛化误差方面，特征平均与数据增强相比表现如何？
• RQ3 尽管数据非独立同分布，PAC-Bayes界是否仍可有意义地应用于数据增强训练的模型？
• RQ4 为何学习了不变性的数据增强模型可能在训练分布之外无法泛化？
• RQ5 即使在训练阶段使用数据增强，仅在推理阶段对预测进行平均（即特征平均），是否仍能提升泛化性能？

主要发现

• 特征平均在凸损失函数下，比数据增强更有效地降低风险与梯度估计的方差。
• 特征平均模型的期望风险不会劣于非平均模型，且在凸损失下通常严格更低。
• 即使通过蒙特卡洛采样近似，特征平均仍能通过减少KL散度项来收紧PAC-Bayes泛化界。
• 数据增强相比标准训练可降低风险方差，但无法保证不变性，且当学习到的不变性在训练分布外不成立时，可能无法泛化。
• FashionMNIST与ModelNet10上的实证结果证实，具备不变性的架构相比非不变性模型，能获得更紧的PAC-Bayes界与更好的泛化性能。
• 即使模型在训练阶段使用数据增强，仅在推理阶段对变换后的预测进行平均，也能实现更好的泛化，证明了推理阶段特征平均的价值。