[论文解读] Revisiting Distributionally Robust Supervised Learning in Classification

Weihua Hu, Gang Niu+2 more|arXiv (Cornell University)|Nov 7, 2016

Domain Adaptation and Few-Shot Learning参考文献 27被引用 7

一句话总结

本文提出了一种新的分布鲁棒监督学习（DRSL）框架，通过显式引入关于分布偏移的结构假设，避免退化为标准的经验风险最小化。通过约束分布偏移的形式，该方法通过高效的基于梯度的优化学习鲁棒决策边界，在分布偏移下实现了改进的泛化性能，并建立了收敛性和估计误差率。

ABSTRACT

Distributionally Robust Supervised Learning (DRSL) is necessary for building reliable machine learning systems. When machine learning is deployed in the real world, its performance can be significantly degraded because test data may follow a different distribution from training data. Previous DRSL minimizes the loss for the worst-case test distribution. However, our theoretical analyses show that the previous DRSL essentially reduces to ordinary empirical risk minimization in a classification scenario. This implies that the previous DRSL ends up learning classifiers exactly for the given training data even though it is designed to be robust to distribution shift from the training dataset. In order to learn practically useful robust classifiers, our theoretical analyses motivate us to structurally constrain the distribution shift considered by DRSL. To this end, we propose novel DRSL which can incorporate the structural assumptions on distribution shift and that can learn useful robust decision boundaries based on the assumptions. We derive efficient gradient-based optimization algorithms and establish the convergence rate of the model parameter as well as the order of the estimation error for our DRSL. The effectiveness of our DRSL is demonstrated through experiments.

研究动机与目标

• 为解决先前DRSL方法在分类任务中退化为普通经验风险最小化的问题，从而削弱鲁棒性。
• 通过分析其理论行为，阐明为何先前的DRSL在分类中无法实现真正的鲁棒性。
• 提出一种新的DRSL公式，通过引入关于分布偏移的结构假设，以实现真正实用的鲁棒分类器的学习。
• 为所提出的DRSL框架推导出高效的基于梯度的优化算法。
• 为所提出的方法建立理论收敛性和估计误差率。

提出的方法

• 提出一种新颖的DRSL公式，通过诸如矩约束或支撑约束等结构约束显式建模分布偏移，而非考虑所有可能的分布。
• 引入一种约束优化框架，其中在满足结构假设的分布集合上最小化最坏情况损失。
• 通过利用对偶性并将其重新表述为可处理的形式，推导出基于梯度的优化算法。
• 使用Wasserstein或类似的概率度量来定义在结构假设下合理的测试分布集合。
• 在较弱的正则性条件下，证明模型参数收敛到最优解。
• 分析所学分类器的估计误差率，表明其随样本大小和结构复杂度的增加而有利地增长。

实验结果

研究问题

• RQ1 尽管具有理论潜力，为何传统DRSL在分类任务中仍无法提供鲁棒性？
• RQ2 如何将关于分布偏移的结构假设正式纳入DRSL，以确保有意义的鲁棒性？
• RQ3 哪些优化算法能够高效求解所提出的约束DRSL问题？
• RQ4 所提出的DRSL方法的理论收敛性和估计误差特性是什么？
• RQ5 在分布偏移下，所提出的DRSL与标准DRSL及基线方法相比，实证表现如何？

主要发现

• 理论分析表明，分类任务中的标准DRSL退化为普通经验风险最小化，因此对分布偏移无效。
• 通过引入关于分布偏移的结构假设，所提出的DRSL避免了退化为标准ERM，并学习到真正鲁棒的决策边界。
• 所提出方法的模型参数收敛率与在给定假设下已知的最优率相匹配。
• 分类器的估计误差有界，并随结构约束复杂度和样本大小而增长。
• 实证结果表明，所提出的DRSL在各种分布偏移场景下优于标准DRSL和基线方法。
• 基于梯度的优化算法收敛高效，支持鲁棒模型的实际部署。