[论文解读] Weighted Optimization: better generalization by smoother interpolation.

Yuege Xie, Rachel Ward+2 more|arXiv (Cornell University)|Jun 15, 2020

Advanced Neural Network Applications参考文献 22被引用 8

一句话总结

本文建立了隐式偏好于平滑插值与过参数化模型中泛化性能提升之间的理论联系。通过随机傅里叶级数模型和加权最小二乘法，证明了归一化技术（如权重归一化）通过偏好更平滑的解来提升泛化性能，这是在过参数化设置下对该机制的首次严格案例研究。

ABSTRACT

We provide a rigorous analysis of how implicit bias towards smooth interpolations leads to low generalization error in the overparameterized setting. We provide the first case study of this connection through a random Fourier series model and weighted least squares. We then argue through this model and numerical experiments that normalization methods in deep learning such as weight normalization improve generalization in overparameterized neural networks by implicitly encouraging smooth interpolants.

研究动机与目标

• 研究过参数化模型中平滑插值与低泛化误差之间的关联。
• 分析加权最小二乘法和随机傅里叶级数模型中的平滑性隐式偏好。
• 解释归一化方法（如权重归一化）如何通过鼓励更平滑的解来提升泛化性能。
• 为平滑性在泛化中的作用提供理论与实证基础，超越标准偏差-方差权衡。

提出的方法

• 作者使用随机傅里叶级数模型来表示具有可控平滑度的过参数化函数。
• 通过为高频分量分配较低权重，应用加权最小二乘法在插值中强制实现平滑性。
• 该方法通过加权实现类似正则化的效应，而无需显式惩罚项。
• 理论分析表明，在特定条件下，解会收敛到平滑插值。
• 数值实验验证了在过参数化设置下，更平滑的插值具有更好的泛化性能。
• 该框架被扩展以解释深度学习中的权重归一化，即隐式促进平滑插值。

实验结果

研究问题

• RQ1 在过参数化模型中，对平滑插值的隐式偏好如何降低泛化误差？
• RQ2 与标准最小二乘法相比，加权最小二乘法在多大程度上促进了更平滑的解？
• RQ3 像权重归一化这样的归一化方法能否被理解为隐式鼓励平滑插值的机制？
• RQ4 频率组成在过参数化模型的泛化性能中起什么作用？
• RQ5 随机傅里叶级数模型如何作为研究平滑插值泛化性的测试平台？

主要发现

• 与标准最小二乘法相比，加权最小二乘法产生更平滑的插值，从而导致更低的泛化误差。
• 随机傅里叶级数模型表明，在过参数化设置下，更平滑的解具有更好的泛化性能。
• 像权重归一化这样的归一化方法隐式鼓励平滑插值，解释了其在深度学习中经验成功的机制。
• 理论分析证实，对平滑性的隐式偏好可降低过参数化区域的泛化误差。
• 数值实验验证了在各种频率组成下，更平滑的插值表现出更优的泛化性能。
• 本研究首次提供了严谨的案例研究，将平滑插值、隐式偏好与过参数化模型中的泛化性能联系起来。