[论文解读] Robust Deep Learning as Optimal Control: Insights and Convergence Guarantees

Jacob H. Seidman, Mahyar Fazlyab+2 more|arXiv (Cornell University)|May 1, 2020

Advanced Control Systems Optimization被引用 12

一句话总结

本文通过将深度神经网络建模为离散时间动力系统，将鲁棒深度学习形式化为有限时域最优控制问题，从而提出一种受庞特里亚金最大值原理启发、计算高效的对抗训练算法。该工作提供了该方法的首次收敛性分析，证明了在不精确预言机条件下的收敛性，并揭示了过多的对抗样本更新会降低性能。

ABSTRACT

The fragility of deep neural networks to adversarially-chosen inputs has motivated the need to revisit deep learning algorithms. Including adversarial examples during training is a popular defense mechanism against adversarial attacks. This mechanism can be formulated as a min-max optimization problem, where the adversary seeks to maximize the loss function using an iterative first-order algorithm while the learner attempts to minimize it. However, finding adversarial examples in this way causes excessive computational overhead during training. By interpreting the min-max problem as an optimal control problem, it has recently been shown that one can exploit the compositional structure of neural networks in the optimization problem to improve the training time significantly. In this paper, we provide the first convergence analysis of this adversarial training algorithm by combining techniques from robust optimal control and inexact oracle methods in optimization. Our analysis sheds light on how the hyperparameters of the algorithm affect the its stability and convergence. We support our insights with experiments on a robust classification problem.

研究动机与目标

• 通过将最小-最大优化重新表述为最优控制问题，解决深度神经网络中对抗训练的高计算成本问题。
• 为 Zhang 等人（2019）提出的基于最优控制启发的对抗训练算法提供首个理论收敛保证。
• 分析算法超参数如何影响鲁棒训练中的稳定性和收敛性。
• 为对抗样本更新步数与模型性能之间的权衡提供理论洞见。

提出的方法

• 将 $T$ 层神经网络建模为离散时间动力系统，其状态转移由逐层函数 $f_t(x_t, \theta_t)$ 定义。
• 将鲁棒训练问题重新表述为带有状态约束的有限时域最优控制问题，其代价函数包含损失项和正则化项。
• 应用庞特里亚金最大值原理（Pontryagin Maximum Principle, PMP）推导最优性必要条件，从而导出一种通过协态动力学计算对抗扰动的算法。
• 将对抗者的更新视为对真实梯度的不精确预言机，从而利用优化中的不精确预言机方法进行收敛性分析。
• 利用协态过程界定对抗者计算更新与真实梯度之间的误差，从而实现收敛性保证。
• 利用所得误差界，在标准假设（如光滑性、强凸性）下证明整体对抗训练算法的收敛性。

实验结果

研究问题

• RQ1 对抗训练的最优控制形式化如何影响训练算法的收敛行为？
• RQ2 对抗样本更新次数对模型收敛性和泛化性能有何影响？
• RQ3 能否以一种可控制的方式界定并控制近似对抗更新引入的误差，从而实现理论收敛保证？
• RQ4 关键超参数（如对抗样本步数和学习率）如何影响鲁棒训练过程的稳定性和收敛性？

主要发现

• 所提出的基于最优控制启发的算法在不精确预言机条件下实现收敛，为这一类鲁棒训练方法提供了首个理论收敛保证。
• 分析表明，当对抗样本更新次数超过某一阈值后，由于不精确梯度近似中的误差累积，模型性能会下降。
• 通过协态过程界定了对抗者计算更新与真实梯度之间的误差，从而使得不精确预言机收敛理论得以应用。
• 收敛速率明确依赖于算法参数，如损失函数的光滑性常数、强凸性常数以及扰动集的直径。
• 实验结果证实，在每次学习者更新中存在一个最优的对抗样本步数，超过该值后性能趋于平稳或下降。