[论文解读] Polynomial Optimization for Bounding Lipschitz Constants of Deep Networks

Tong Chen, Jean B. Lasserre+2 more|arXiv (Cornell University)|Feb 10, 2020

Adversarial Robustness in Machine Learning参考文献 24被引用 6

一句话总结

该论文提出了一种半定规划（SDP）分层方法，利用多项式提升和广义Putinar正定性证书，以估计深度ReLU网络的全局与局部Lipschitz常数。该方法在计算速度和边界紧致性方面优于当前最先进的线性规划方法，从而在鲁棒性认证和GAN训练等应用中实现了更高的精度。

ABSTRACT

The Lipschitz constant of a network plays an important role in many applications of deep learning, such as robustness certification and Wasserstein Generative Adversarial Network. We introduce a semidefinite programming hierarchy to estimate the global and local Lipschitz constant of a multiple layer deep neural network. The novelty is to combine a polynomial lifting for ReLU functions derivatives with a weak generalization of Putinar's positivity certificate. This idea could also apply to other, nearly sparse, polynomial optimization problems in machine learning. We empirically demonstrate that our method not only runs faster than state-of-the-art linear programming based method, but also provides sharper bounds.

研究动机与目标

• 为高效且准确地估计深度神经网络中的全局与局部Lipschitz常数提供解决方案。
• 提升在对抗鲁棒性和Wasserstein GAN等应用中的鲁棒性认证与训练稳定性。
• 开发一种可扩展的优化框架，其在速度与边界紧致性方面均优于现有基于线性规划的方法。
• 将多项式优化技术扩展至深度学习中出现的近稀疏问题，特别是涉及ReLU激活函数的情形。

提出的方法

• 该方法采用多项式提升技术，将在高维多项式空间中表示ReLU函数及其导数。
• 提出Putinar正定性证书的一种弱化推广形式，以处理Lipschitz估计中所需的非负多项式条件。
• 构建一个半定规划（SDP）分层结构，系统性地收紧Lipschitz常数的上界。
• 该方法旨在利用网络结构中的稀疏性模式，即使在更深的网络中也能实现高效计算。
• 将Lipschitz常数估计建模为多项式优化问题，可通过凸松弛方法求解。
• 通过在优化公式中调整关注区域，实现全局与局部Lipschitz常数的联合估计。

实验结果

研究问题

• RQ1 基于半定规划的多项式优化框架是否能比现有线性规划方法提供更紧致且更快的Lipschitz常数估计？
• RQ2 多项式提升与广义正定性证书在具有非光滑激活函数的ReLU深度网络中应用效果如何？
• RQ3 该方法在保持计算效率的前提下，对更深更宽的网络架构具有多大程度的可扩展性？
• RQ4 该方法能否被适配以计算局部Lipschitz常数，而这类常数对局部鲁棒性分析至关重要？
• RQ5 在实际应用中，该方法与当前最先进的方法相比，在边界紧致性与运行时间性能方面表现如何？

主要发现

• 与当前最先进的基于线性规划的方法相比，所提方法在Lipschitz边界估计上实现了显著更紧致的结果。
• 该方法在基准网络上的运行速度优于现有线性规划方法，展现出更高的计算效率。
• 通过使用多项式提升与广义Putinar证书，有效处理了优化框架中ReLU导数的建模问题。
• SDP分层结构提供了一种系统化方式以逐步优化边界，且随着分层级别提升，估计结果趋于更紧致。
• 实验结果证实了该方法在标准深度学习架构上的可扩展性与有效性，这些架构广泛应用于鲁棒性与GAN相关应用。