[论文解读] Non-Asymptotic Guarantees for Robust Statistical Learning under Infinite Variance Assumption

Lihu Xu, Fang Yao+2 more|arXiv (Cornell University)|Jan 10, 2022

Advanced Statistical Methods and Models被引用 7

一句话总结

本文在无限方差假设下，为鲁棒统计学习提出了非渐近的超额风险界，引入了岭回归和弹性网络对数截断M-估计器，即使在数据仅具有有限$β$-阶矩（$β \in (1,2)$）时，也能实现最优收敛速率。关键贡献在于将鲁棒估计扩展至重尾、非次高斯设置，并为凸与非凸模型（包括深度神经网络）提供了理论保证。

ABSTRACT

There has been a surge of interest in developing robust estimators for models with heavy-tailed and bounded variance data in statistics and machine learning, while few works impose unbounded variance. This paper proposes two type of robust estimators, the ridge log-truncated M-estimator and the elastic net log-truncated M-estimator. The first estimator is applied to convex regressions such as quantile regression and generalized linear models, while the other one is applied to high dimensional non-convex learning problems such as regressions via deep neural networks. Simulations and real data analysis demonstrate the {robustness} of log-truncated estimations over standard estimations.

研究动机与目标

• 为解决在无限方差假设下缺乏鲁棒统计学习方法的问题，特别是当数据仅具有有限$\beta$-阶矩且$\beta \in (1,2)$时。
• 开发新型鲁棒估计器——岭对数截断M-估计器与弹性网络对数截断M-估计器，适用于凸与高维非凸学习问题。
• 在最小矩条件（避免有界损失、有界Lipschitz或次高斯假设）下，为这些估计器建立非渐近超额风险界。
• 通过模拟实验与真实数据（如波士顿房价与MNIST数据集）分析，验证所提估计器的鲁棒性。
• 将理论框架扩展至非凸模型，如深度神经网络、混合回归与非负矩阵分解，在重尾噪声条件下保持有效性。

提出的方法

• 提出一种通用的对数截断函数$\lambda(x) = \frac{1}{\beta}|x|^\beta$，用于鲁棒M-估计，适用于$\beta \in (1,2)$的$\beta$-稳定分布。
• 基于适配子威布尔尾部的新型集中不等式框架，推导超额风险界，实现在弱矩条件下的非渐近分析。
• 将岭对数截断M-估计器应用于凸模型，如分位数回归与广义线性模型（GLMs），包括逻辑回归与负二项回归。
• 为高维非凸问题（$p \gg n$）引入对数截断M-估计器的弹性网络变体，以促进稀疏性与稳定性。
• 在所提出的鲁棒框架下，采用随机梯度下降（SGD）训练深度神经网络回归模型，并提供收敛性的理论支持。
• 通过模拟实验与真实世界数据（包括波士顿房价与MNIST）验证方法，结果表明其在重尾噪声下相比标准估计器具有更高的预测稳定性。

实验结果

研究问题

• RQ1 当数据仅具有$\beta$-阶矩且$\beta \in (1,2)$，而非次高斯或有界矩时，鲁棒M-估计器能否实现非渐近超额风险界？
• RQ2 对数截断框架如何扩展至高维非凸学习问题，如深度神经网络与混合模型？
• RQ3 在无限方差假设下，鲁棒估计器的最优收敛速率是多少？是否可通过岭回归或弹性网络正则化实现？
• RQ4 所提框架能否应用于重尾噪声下的非凸模型，如两分量混合线性回归与非负矩阵分解？
• RQ5 尾指数$\beta$的选择如何影响预测性能？其在实际模型选择中具有何种含义？

主要发现

• 在$\beta$-阶矩假设下（$\beta \in (1,2)$），岭对数截断M-估计器实现了$O\left(\left(\frac{(2d+1)\log(nr_n)}{n}\right)^{\frac{\beta-1}{\beta}}\right)$阶的超额风险界，扩展了对LAD回归的先前结果。
• 对于广义线性模型，该方法提供了适用于逻辑回归与负二项回归的一般超额风险界，其收敛速率依赖于$\beta$与维度。
• 在$p \gg n$的高维设置下，弹性网络对数截断M-估计器在稀疏性与$\beta$-矩条件下，实现了类似的非渐近超额风险界。
• 在波士顿房价与MNIST数据集上的实证结果表明，所提出的鲁棒DNN回归模型在重尾噪声下相比标准估计器展现出更高的预测稳定性。
• 理论分析证实，该方法适用于非凸模型，如两分量混合线性回归与非负矩阵分解，在$\beta$-矩条件下可导出超额风险界。
• 该框架对模型误设与数据污染具有鲁棒性，即使在缺乏二阶矩时也具备理论保证，适用于现实世界中的重尾数据（如财富分布与网络分布）。