[论文解读] The Multimarginal Optimal Transport Formulation of Adversarial Multiclass Classification

Nicolás García Trillos, Matt Jacobs+1 more|arXiv (Cornell University)|Apr 27, 2022

Machine Learning and Algorithms被引用 7

一句话总结

本文建立了对抗性多分类分类与多边际最优传输（MOT）问题之间的新颖等价关系，揭示了一种广义中位数形式，使得通过最优传输求解器实现鲁棒分类器训练成为可能。核心贡献在于构建了一个将对抗性学习与最优传输相联系的理论与计算框架，可通过原-对偶最优传输算法恢复最优鲁棒分类器与对抗性策略。

ABSTRACT

We study a family of adversarial multiclass classification problems and provide equivalent reformulations in terms of: 1) a family of generalized barycenter problems introduced in the paper and 2) a family of multimarginal optimal transport problems where the number of marginals is equal to the number of classes in the original classification problem. These new theoretical results reveal a rich geometric structure of adversarial learning problems in multiclass classification and extend recent results restricted to the binary classification setting. A direct computational implication of our results is that by solving either the barycenter problem and its dual, or the MOT problem and its dual, we can recover the optimal robust classification rule and the optimal adversarial strategy for the original adversarial problem. Examples with synthetic and real data illustrate our results.

研究动机与目标

• 开发一个将对抗性多分类分类与最优传输相联系的理论框架。
• 将对抗性鲁棒性重新表述为广义Wasserstein中位数问题。
• 建立对抗性分类与多边际最优传输（MOT）问题之间的等价关系。
• 通过原-对偶最优传输算法实现最优鲁棒分类器与对抗性策略的计算。
• 为多分类设置下的可扩展鲁棒学习提供几何与计算基础。

提出的方法

• 将对抗性多分类分类问题重新表述为涉及非概率测度与传输成本的广义中位数问题。
• 建立对抗性问题与具有K个边际的多边际最优传输（MOT）问题之间的等价关系，其中K为类别数。
• 定义一个代价函数 c(z₁,…,zₖ)，用于编码跨类别的对抗性扰动结构。
• 通过显式耦合与传输映射，从MOT问题及其对偶问题的解中重构原始对抗性问题的解。
• 利用现有的原-对偶最优传输算法，同时计算最优鲁棒分类器与对抗性扰动。
• 利用广义中位数形式，发掘几何结构并实际降低问题的有效规模。

实验结果

研究问题

• RQ1 对抗性多分类分类能否被重新表述为多边际最优传输问题？
• RQ2 在对抗性学习背景下，广义中位数问题如何扩展经典Wasserstein中位数？
• RQ3 对抗性问题与其MOT重表述之间的计算关系是什么？
• RQ4 原-对偶最优传输求解器能否用于恢复最优鲁棒分类器与对抗性策略？
• RQ5 广义中位数形式揭示了对抗性设置下数据分布的何种几何洞察？

主要发现

• 对抗性多分类分类问题在数学上等价于具有K个边际的多边际最优传输问题，其中K为类别数。
• 该问题也等价于涉及非概率测度与向共同测度λ的传输成本的广义中位数问题。
• MOT问题及其对偶问题的解可用于重构最优鲁棒分类器与最优对抗性策略。
• 该等价关系允许直接使用标准原-对偶最优传输求解器计算鲁棒分类器。
• 广义中位数形式揭示了对抗性学习中丰富的几何结构，尤其在仅少数类别在特定尺度下相互作用时更为显著。
• 该框架为鲁棒性提供了基准，并提供了一种即使在分类器族受限时也能生成对抗性样本的训练方法。