[论文解读] Robust Estimation and Generative Adversarial Nets

Chao Gao, Jiyi Liu+2 more|arXiv (Cornell University)|Oct 4, 2018

Advanced Statistical Methods and Models参考文献 55被引用 24

一句话总结

本文在Huber的ε-污染模型下，建立了f-GAN与基于深度的鲁棒估计器之间的理论联系，表明诸如半空间深度等深度函数可被视为总变差距离的变分下界。通过利用具有特定架构的GAN风格神经网络判别器，作者开发了计算高效的估计器，在高斯分布和椭球分布下实现了鲁棒均值估计的极小极大最优率，即使矩不存在亦成立。

ABSTRACT

Robust estimation under Huber's $ε$-contamination model has become an important topic in statistics and theoretical computer science. Statistically optimal procedures such as Tukey's median and other estimators based on depth functions are impractical because of their computational intractability. In this paper, we establish an intriguing connection between $f$-GANs and various depth functions through the lens of $f$-Learning. Similar to the derivation of $f$-GANs, we show that these depth functions that lead to statistically optimal robust estimators can all be viewed as variational lower bounds of the total variation distance in the framework of $f$-Learning. This connection opens the door of computing robust estimators using tools developed for training GANs. In particular, we show in both theory and experiments that some appropriate structures of discriminator networks with hidden layers in GANs lead to statistically optimal robust location estimators for both Gaussian distribution and general elliptical distributions where first moment may not exist.

研究动机与目标

• 通过将f-GAN与基于深度的估计器相联系，弥合鲁棒统计与深度生成建模之间的鸿沟。
• 在Huber的ε-污染模型下，开发计算上可处理的鲁棒位置估计算法。
• 在高维与重尾设定下，实现鲁棒均值估计的极小极大最优率。
• 将统计最优性扩展至一阶矩可能不存在的椭球分布。
• 证明GAN中特定的深度神经网络结构可近似最优的基于深度的估计器。

提出的方法

• 通过f-Learning，将半空间深度等深度函数形式化为总变差距离的变分下界。
• 构建一个使用ReLU和Sigmoid激活函数的GAN风格判别器网络，以近似基于深度的估计器。
• 采用两阶段训练过程：首先使用神经网络判别器估计位置参数，然后通过迭代过滤或维度减半进行精炼。
• 设计具有隐藏层和跳跃连接的判别器，以建模到中位数的有符号距离，从而实现Tukey中位数的近似。
• 证明具有L层和有界权重的网络架构，其泛化误差界为O(√(p log p / n))。
• 应用极小极大率分析，表明该估计器在高斯和椭球分布下达到最优率p/n ∨ ε²。

实验结果

研究问题

• RQ1 f-GAN能否用于计算统计上最优的鲁棒估计器，如Tukey中位数？
• RQ2 GAN中特定的深度神经网络架构是否能近似导致极小极大最优鲁棒估计器的深度函数？
• RQ3 所提出的方法能否在ε-污染下实现鲁棒均值估计的极小极大率p/n ∨ ε²？
• RQ4 f-Learning与数据深度函数之间的联系是否在高斯模型之外也成立，包括重尾的椭球分布？
• RQ5 能否利用基于深度学习的变分近似方法克服基于深度估计器的计算不可行性？

主要发现

• 本文证明，在f-Learning框架下，半空间深度等深度函数等价于总变差距离的变分下界。
• 一种具有ReLU和Sigmoid激活函数的特定GAN判别器架构，能够近似Tukey中位数，并实现极小极大最优估计率。
• 所提方法在Huber的ε-污染模型下实现了p/n ∨ ε²的极小极大率，与理论下界完全一致。
• 由于使用了基于深度的目标函数，该估计器在第一阶矩可能不存在的椭球分布下仍保持最优。
• 理论分析表明，基于神经网络的估计器的泛化误差以高概率被限制在O(√(p log p / n))以内。
• 实证结果证实，该方法在高维与重尾设定下优于标准的基于矩的鲁棒估计器。