[论文解读] Regularization via Data Augmentation

Nicholas G. Polson, James G. Scott|arXiv (Cornell University)|Mar 28, 2011

Statistical Methods and Inference参考文献 34被引用 1

一句话总结

本文提出了一种基于正态方差-均值混合的正则化数据增强框架，适用于回归与分类任务，使期望最大化算法的应用范围更广。通过拟牛顿加速，显著提升了算法效率，应用于稀疏分位数回归与二值逻辑回归时，实现了更快的收敛速度，且未损失鲁棒性。

ABSTRACT

We use the theory of normal variance-mean mixtures to derive a data-augmentation scheme for a class of common regularization problems. This generalizes existing theory on normal variance mixtures for priors in regression and classification. It also allows variants of the expectation-maximization algorithm to be brought to bear on a wider range of models than previously appreciated. We demonstrate the method on several examples, including sparse quantile regression and binary logistic regression. We also show that quasi-Newton acceleration can substantially improve the speed of the algorithm without compromising its robustness.

研究动机与目标

• 将正态方差-均值混合的理论基础拓展至回归与分类中更广泛的正则化问题类别。
• 开发一种数据增强方案，推广现有先验分布，并使期望最大化方法能够应用于此前不在其适用范围内的模型。
• 通过拟牛顿加速提升算法的计算效率，同时保持其鲁棒性。
• 在稀疏分位数回归与二值逻辑回归任务中验证该方法的有效性。

提出的方法

• 该方法利用正态方差-均值混合的理论，构建一种适用于广泛正则化问题的增强数据方案。
• 通过引入源自方差-均值混合的辅助变量，将正则化问题重新表述为潜变量模型。
• 对期望最大化算法进行调整，以处理增强后的数据结构，从而实现似然函数的迭代优化。
• 将拟牛顿方法整合进EM框架，以在不牺牲稳定性的前提下加速收敛。
• 通过将现有回归与分类中的先验分布统一嵌入方差-均值混合框架，推广了这些先验的适用范围。
• 在增强似然框架下，将该算法应用于稀疏分位数回归与二值逻辑回归。

实验结果

研究问题

• RQ1 是否可利用正态方差-均值混合推导出适用于回归与分类中正则化的通用数据增强方案？
• RQ2 通过该增强方法，期望最大化算法在多大程度上可被扩展至传统适用范围之外的模型？
• RQ3 在该上下文中，拟牛顿加速如何影响基于EM算法的收敛速度与鲁棒性？
• RQ4 在稀疏分位数回归与二值逻辑回归中，该方法可实现多大的性能提升？

主要发现

• 所提出的增强数据方案成功将EM算法的适用范围扩展至此前难以实现的更广泛正则化问题类别。
• 该方法通过将现有先验统一嵌入方差-均值混合框架，推广了回归与分类中的先验分布。
• 拟牛顿加速显著提升了算法的运行速度，同时保持了优化过程的鲁棒性。
• 在稀疏分位数回归与二值逻辑回归上的实证结果表明，该方法具有良好的有效性与可扩展性。