[论文解读] Robust Collective Classification against Structural Attacks.

Kai Zhou, Yevgeniy Vorobeychik|arXiv (Cornell University)|Jul 26, 2020

Adversarial Robustness in Machine Learning被引用 2

一句话总结

本文提出了一种针对结构攻击的鲁棒集体分类框架，用于关联马尔可夫网络（AMN），其中攻击者在测试时修改图边。通过将问题形式化为基于对偶的凸松弛的双层优化，该方法实现了强鲁棒性——在对抗性设置下优于深度学习模型，同时在干净数据上保持高准确率。

ABSTRACT

Collective learning methods exploit relations among data points to enhance classification performance. However, such relations, represented as edges in the underlying graphical model, expose an extra attack surface to the adversaries. We study adversarial robustness of an important class of such graphical models, Associative Markov Networks (AMN), to structural attacks, where an attacker can modify the graph structure at test time. We formulate the task of learning a robust AMN classifier as a bi-level program, where the inner problem is a challenging non-linear integer program that computes optimal structural changes to the AMN. To address this technical challenge, we first relax the attacker problem, and then use duality to obtain a convex quadratic upper bound for the robust AMN problem. We then prove a bound on the quality of the resulting approximately optimal solutions, and experimentally demonstrate the efficacy of our approach. Finally, we apply our approach in a transductive learning setting, and show that robust AMN is much more robust than state-of-the-art deep learning methods, while sacrificing little in accuracy on non-adversarial data.

研究动机与目标

• 解决集体分类方法在测试时因图边被操纵而面临的脆弱性问题。
• 将关联马尔可夫网络（AMN）中的对抗鲁棒性形式化为双层优化问题。
• 对攻击者的非线性整数规划问题进行凸松弛，以使鲁棒学习问题可计算。
• 通过对偶方法证明近似解质量的理论边界。
• 在半监督学习设置下评估该方法，并与最先进深度学习模型进行鲁棒性比较。

提出的方法

• 将鲁棒AMN学习形式化为双层规划：外层问题优化模型参数，内层问题计算最坏情况的结构扰动。
• 将内层问题的非线性整数规划松弛为连续松弛，以实现可计算的优化。
• 应用拉格朗日对偶性，推导出最坏情况损失的凸二次上界，从而实现高效优化。
• 利用对偶形式推导出一个代理目标，确保对对抗性图修改的鲁棒性。
• 采用半监督学习设置，在测试时结构攻击下评估性能。
• 将基于对偶的上界整合到训练目标中，以最小化最坏情况下的期望损失。

实验结果

研究问题

• RQ1 如何在结构攻击下正式建模关联马尔可夫网络中的对抗鲁棒性？
• RQ2 图结构的操纵对集体分类器的分类性能有何影响？
• RQ3 能否为最坏情况结构扰动下的鲁棒AMN训练推导出可计算的优化框架？
• RQ4 基于对偶的凸松弛如何影响鲁棒解的质量，与真实最优解相比如何？
• RQ5 在鲁棒性和干净数据准确率方面，该鲁棒AMN方法与最先进深度学习模型相比表现如何？

主要发现

• 所提方法在半监督设置下，对结构攻击的鲁棒性显著优于最先进深度学习方法。
• 基于对偶的凸松弛为最坏情况损失提供了紧致上界，从而支持有效优化。
• 该方法在非对抗性测试数据上保持了高准确率，性能下降可忽略。
• 理论分析建立了通过对偶法获得的近似解的次优性边界。
• 实验结果证实，鲁棒AMN比深度学习基线模型更能抵御边扰动攻击。