[论文解读] Towards a Deeper Understanding of Adversarial Losses under a Discriminative Adversarial Network Setting

Hao‐Wen Dong, Yi‐Hsuan Yang|arXiv (Cornell University)|Jan 25, 2019

Adversarial Robustness in Machine Learning参考文献 28被引用 12

一句话总结

本文对判别式对抗生成网络（DANs）中的对抗损失进行了理论与实证分析，推导出使组件函数产生数据分布与模型分布之间类似散度度量的必要与充分条件。本文提出了DANTest，一种用于评估多种对抗损失的对比框架，为未来对抗训练目标的设计提供了指导原则。

ABSTRACT

Recent work has proposed various adversarial loss functions for training either generative or discriminative models. Yet, it remains unclear what certain types of functions are valid adversarial losses, and how these loss functions perform against one another. In this paper, we aim to gain a deeper understanding of adversarial losses by decoupling the effects of their component functions and regularization terms. We first derive in theory some necessary and sufficient conditions of the component functions such that the adversarial loss is a divergence-like measure between the data and the model distributions. In order to systematically compare different adversarial losses, we then propose a new, simple comparative framework, dubbed DANTest, based on discriminative adversarial networks (DANs). With this framework, we evaluate an extensive set of adversarial losses by combining different component functions and regularization approaches. Our theoretical and empirical results can together serve as a reference for choosing or designing adversarial training objectives in future research.

研究动机与目标

• 阐明哪些组件函数和正则化项能够产生行为类似数据分布与模型分布之间散度度量的有效对抗损失。
• 解决判别式设置下现有对抗损失函数之间缺乏系统性比较的问题。
• 在判别式对抗生成网络（DAN）设置下，开发一个统一的框架，用于评估和比较多样化的对抗损失。
• 为选择或设计有效的对抗训练目标提供理论与实证基础。

提出的方法

• 推导出确保对抗损失在数据分布与模型分布之间表现类似散度度量的组件函数的必要与充分条件的理论分析。
• 设计DANTest，一种基于判别式对抗生成网络的对比框架，通过组合不同的组件函数与正则化策略来评估对抗损失。
• 在DANTest框架下对大量对抗损失进行系统性评估，实现对性能与行为的受控比较。
• 利用理论分析识别出能保持对抗训练中理想统计特性的函数类别。
• 将正则化项整合到损失公式中，以研究其对收敛性与泛化能力的影响。

实验结果

研究问题

• RQ1 哪些组件函数和正则化项可确保对抗损失在数据分布与模型分布之间表现类似散度的度量？
• RQ2 在判别式设置下，不同组合的组件函数与正则化策略如何影响对抗损失的性能？
• RQ3 在何种理论条件下，可认为对抗损失是分布差异的合法度量？
• RQ4 所提出的DANTest框架如何实现对多样化对抗损失的公平且系统性的比较？

主要发现

• 理论分析揭示了确保对抗损失在数据分布与模型分布之间表现类似散度度量的特定必要与充分条件。
• DANTest框架通过解耦组件函数与正则化项，实现了对抗损失的系统性与受控评估。
• 不同组合的组件函数与正则化策略在训练稳定性与性能上表现出显著差异，凸显了设计选择的重要性。
• 本研究识别出能保持理想统计特性的函数类别，为未来损失设计提供了指导。