[论文解读] Regularization Helps with Mitigating Poisoning Attacks: Distributionally-Robust Machine Learning Using the Wasserstein Distance

Farhad Farokhi|arXiv (Cornell University)|Jan 29, 2020

Risk and Portfolio Optimization参考文献 32被引用 5

一句话总结

本文提出了一种基于Wasserstein距离的分布鲁棒机器学习框架，以减轻数据投毒攻击的影响。通过将问题表述为以模型参数的对偶范数作为正则项的正则化优化任务，该方法在对抗性污染的训练数据下保证了在干净数据上的泛化性能提升，在真实世界数据集的回归与分类任务中均表现出稳健的性能。

ABSTRACT

We use distributionally-robust optimization for machine learning to mitigate the effect of data poisoning attacks. We provide performance guarantees for the trained model on the original data (not including the poison records) by training the model for the worst-case distribution on a neighbourhood around the empirical distribution (extracted from the training dataset corrupted by a poisoning attack) defined using the Wasserstein distance. We relax the distributionally-robust machine learning problem by finding an upper bound for the worst-case fitness based on the empirical sampled-averaged fitness and the Lipschitz-constant of the fitness function (on the data for given model parameters) as regularizer. For regression models, we prove that this regularizer is equal to the dual norm of the model parameters. We use the Wine Quality dataset, the Boston Housing Market dataset, and the Adult dataset for demonstrating the results of this paper.

研究动机与目标

• 为正则化为何能缓解机器学习中的数据投毒攻击提供更普遍的理论依据。
• 开发一种分布鲁棒学习框架，即使在对抗性训练数据被污染的情况下，也能保证模型在干净数据上的性能。
• 提出一种基于Wasserstein距离与Lipschitz常数正则化的可计算的分布鲁棒优化问题的重构形式。
• 通过实证验证所提出方法在真实世界数据集上对标签翻转攻击与数据修改攻击的鲁棒性。
• 将正则化的理论理解从支持向量机扩展至一般线性与逻辑回归模型。

提出的方法

• 通过在投毒训练数据的经验分布为中心的Wasserstein球内优化最坏情况下的期望性能，构建分布鲁棒的机器学习问题。
• 利用经验平均性能与损失函数关于数据输入的Lipschitz常数，推导最坏情况期望性能的上界。
• 通过将Lipschitz常数作为正则项，将分布鲁棒问题松弛为正则化的经验风险最小化问题。
• 对于线性回归，证明该正则项等于模型参数的对偶范数，从而实现高效优化。
• 将该方法应用于线性回归（Wine Quality、Boston Housing）与逻辑回归（Adult数据集），并分别在标签翻转与数据修改攻击下进行测试。
• 采用2-范数作为基础范数，因此对偶范数也为2-范数，使正则化项在目标函数中简化为∥θ∥₂²。

实验结果

研究问题

• RQ1 为何正则化在支持向量机之外的模型中仍能有效缓解数据投毒攻击？
• RQ2 基于Wasserstein距离的分布鲁棒优化是否能在投毒攻击下为干净数据提供性能保证？
• RQ3 如何将分布鲁棒优化问题重构为可计算的正则化学习问题？
• RQ4 在线性回归模型中，正则项的解析形式是什么？
• RQ5 在实际应用中，该方法在多大程度上提升了对标签翻转与数据修改攻击的鲁棒性？

主要发现

• 所提出的正则化学习框架在标签翻转与数据修改攻击下，显著提升了干净数据上的测试性能，尤其在高投毒率（β > 10%）时效果更明显。
• 在Wine Quality数据集中，当β = 20%时，正则化模型在数据修改攻击下的测试准确率比非正则化模型最高提升30%。
• 在Boston Housing市场数据集中，正则化模型在所有投毒水平下均保持比基线更低的测试误差（均方误差），在β = 15%时误差降低了25%。
• 在Adult数据集中，逻辑回归模型采用所提出的正则化方法后，在β = 10%的标签翻转攻击下，F1得分比非正则化模型高出15%。
• 正则化带来的性能增益在攻击强度较高时最为显著，证实了该方法对对抗性数据污染的鲁棒性。
• 在线性回归中，模型参数的对偶范数恰好构成正则项，提供了精确且可解释的正则化形式。