[论文解读] Provably Robust Boosted Decision Stumps and Trees against Adversarial Attacks

Maksym Andriushchenko, Matthias Hein|arXiv (Cornell University)|Jun 8, 2019

Adversarial Robustness in Machine Learning参考文献 70被引用 15

一句话总结

该论文通过精确计算每个样本的决策桩在 $l_\infty$-范数扰动下的鲁棒损失（时间复杂度为每输入 $O(T\log T)$），并高效优化决策树鲁棒损失的紧上界，提出了针对 $l_\infty$-范数对抗攻击的可证明鲁棒训练方法。该方法在 MNIST（$\epsilon_\infty=0.3$ 时为 12.5%）、FMNIST（$\epsilon_\infty=0.1$ 时为 23.2%）和 CIFAR-10（$\epsilon_\infty=8/255$ 时为 74.7%）上实现了当前最优的鲁棒测试误差，且通过精确对抗样本验证了鲁棒性的提升。

ABSTRACT

The problem of adversarial robustness has been studied extensively for neural networks. However, for boosted decision trees and decision stumps there are almost no results, even though they are widely used in practice (e.g. XGBoost) due to their accuracy, interpretability, and efficiency. We show in this paper that for boosted decision stumps the extit{exact} min-max robust loss and test error for an $l_\infty$-attack can be computed in $O(T\log T)$ time per input, where $T$ is the number of decision stumps and the optimal update step of the ensemble can be done in $O(n^2\,T\log T)$, where $n$ is the number of data points. For boosted trees we show how to efficiently calculate and optimize an upper bound on the robust loss, which leads to state-of-the-art robust test error for boosted trees on MNIST (12.5% for $ε_\infty=0.3$), FMNIST (23.2% for $ε_\infty=0.1$), and CIFAR-10 (74.7% for $ε_\infty=8/255$). Moreover, the robust test error rates we achieve are competitive to the ones of provably robust convolutional networks. The code of all our experiments is available at http://github.com/max-andr/provably-robust-boosting

研究动机与目标

• 为解决当前缺乏针对增强决策桩和树的可证明鲁棒训练方法的问题，这些模型因高效性和可解释性而在实践中广泛应用。
• 开发一种高效算法，用于在 $l_\infty$-范数扰动下精确计算增强决策桩的最小-最大鲁棒损失。
• 基于桩级别的鲁棒性，推导并优化增强决策树鲁棒损失的紧上界，从而实现可证明的鲁棒性保证。
• 证明所提方法在标准基准测试上与当前最优的可证明鲁棒神经网络相比，具有具有竞争力的鲁棒测试误差率。

提出的方法

• 对于增强决策桩，通过求解 $l_\infty$-有界扰动下的最小-最大优化问题，在每输入 $O(T\log T)$ 时间内精确计算鲁棒损失。
• 通过在每坐标上最小化精确鲁棒损失，在 $O(n^2 T \log T)$ 时间内实现集成的全局最优更新，其中 $n$ 为训练样本数。
• 对于增强树，基于桩级别的鲁棒性，推导出鲁棒损失的严格上界，计算时间复杂度为 $O(T l)$，其中 $l$ 为叶子节点数。
• 在训练过程中以每坐标 $O(n^2 l)$ 时间最小化该上界，从而实现高效且可证明鲁棒的树集成学习。
• 通过在超立方体攻击上进行二分查找生成对抗样本，以验证鲁棒性，并可视化扰动以确认其对鲁棒模型的影响极小。

实验结果

研究问题

• RQ1 能否在 $l_\infty$-范数扰动下，高效计算增强决策桩集成的精确最小-最大鲁棒损失？
• RQ2 能否通过直接最小化鲁棒损失，而非近似，来计算增强决策桩集成的最优更新步长？
• RQ3 能否基于桩级别的鲁棒性，推导出增强决策树鲁棒损失的紧且可高效计算的上界？
• RQ4 优化该上界是否能为树集成在标准基准测试上带来当前最优的鲁棒测试误差？

主要发现

• 增强决策桩的精确鲁棒损失可在每输入 $O(T\log T)$ 时间内计算，从而实现高效且可证明鲁棒的训练。
• 每坐标上以 $O(n^2 T \log T)$ 时间实现集成的全局最优更新，确保收敛至最优鲁棒模型。
• 对于增强树，所推导的鲁棒损失上界具有紧致性，可实现具有可证明鲁棒性保证的训练。
• 该方法在 MNIST（$\epsilon_\infty=0.3$ 时为 12.5%）、FMNIST（$\epsilon_\infty=0.1$ 时为 23.2%）和 CIFAR-10（$\epsilon_\infty=8/255$ 时为 74.7%）上实现了当前最优的鲁棒测试误差。
• 鲁棒模型的对抗样本需要显著更大的 $l_\infty$-范数扰动（通常 $\|\delta\|_\infty > 0.3$），与标准模型相比，证实了其鲁棒性显著提升。