[论文解读] Risk Bounds for Robust Deep Learning

Johannes Lederer|arXiv (Cornell University)|Sep 14, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用 12

一句话总结

本文针对使用无界、Lipschitz连续损失函数（如Huber、Cauchy和最小绝对偏差损失）的深度学习，建立了理论风险边界，证明了在数据假设最弱的条件下，经验风险最小化结合这些损失函数可确保鲁棒泛化。关键贡献是基于Rademacher复杂度的一般风险边界，支持对异常值和受损数据的鲁棒性，且无需有界损失或次高斯假设。

ABSTRACT

It has been observed that certain loss functions can render deep-learning pipelines robust against flaws in the data. In this paper, we support these empirical findings with statistical theory. We especially show that empirical-risk minimization with unbounded, Lipschitz-continuous loss functions, such as the least-absolute deviation loss, Huber loss, Cauchy loss, and Tukey's biweight loss, can provide efficient prediction under minimal assumptions on the data. More generally speaking, our paper provides theoretical evidence for the benefits of robust loss functions in deep learning.

研究动机与目标

• 在数据质量弱假设下，特别是存在异常值或对抗性污染时，为深度学习提供统计理论。
• 通过严格的理论保证，解释鲁棒损失函数在深度学习中经验成功的原因。
• 将现有泛化边界扩展至无界、Lipschitz连续损失函数（如Huber和Cauchy损失），此前的边界仅适用于有界或次高斯损失。
• 证明权重衰减与鲁棒损失结合可在良性与受损数据分布下均实现有效泛化。

提出的方法

• 通过Rademacher复杂度分析，推导出使用无界、Lipschitz连续损失函数的经验风险最小化器的一般风险边界。
• 将该一般边界应用于带权重衰减正则化的前馈神经网络，将模型复杂度与泛化误差关联。
• 利用Rademacher复杂度控制经验风险与真实风险之间的偏差，即使损失函数无界亦成立。
• 建立风险边界与假设类的Rademacher复杂度及损失函数Lipschitz常数的尺度关系。
• 证明在重尾或污染数据条件下，鲁棒损失相比标准最小二乘损失可获得更紧的泛化边界。
• 将该框架扩展至近似经验风险最小化器，考虑实际计算中的限制。

实验结果

研究问题

• RQ1 在数据假设最弱的条件下，使用无界、Lipschitz连续损失函数的经验风险最小化能否在深度学习中实现可靠的泛化？
• RQ2 在存在异常值或对抗性数据时，鲁棒损失函数（如Huber或Cauchy损失）如何改善泛化性能？
• RQ3 使用鲁棒损失时，权重衰减、Rademacher复杂度与泛化误差之间的理论关系是什么？
• RQ4 能否在不依赖次高斯或有界输入/输出假设的前提下，将现有深度学习泛化边界扩展至无界损失函数？
• RQ5 使用鲁棒损失如何影响深度神经网络中模型复杂度与泛化之间的权衡？

主要发现

• 本文在数据分布假设最弱的条件下，为使用无界、Lipschitz连续损失函数的经验风险最小化建立了通用风险边界。
• 该边界表明，Huber、Cauchy和最小绝对偏差等鲁棒损失相比标准最小二乘损失，能提供更紧的泛化保证，尤其在重尾或污染数据中表现更优。
• 当与权重衰减正则化结合时，鲁棒损失可确保在良性与受损数据分布下均实现有效泛化，其理论依据由Rademacher复杂度边界形式化。
• 该理论框架支持在深度学习中使用鲁棒损失，而无需有界输出或次高斯噪声假设。
• 结果为鲁棒损失函数在深度学习流程中的经验成功提供了统计依据，尤其在数据质量存在问题的场景中。
• 该分析可扩展至近似最小化器，使其适用于精确优化不可行的实际训练场景。