[论文解读] Taming heavy-tailed features by shrinkage

Ziwei Zhu, Wenjing Zhou|arXiv (Cornell University)|Oct 24, 2017

Statistical Methods and Inference参考文献 23被引用 4

一句话总结

本文提出了一种 $\varepsilon$-范数收缩方法，以在特征和响应变量具有重尾分布时增强广义线性模型（GLMs）的鲁棒性。通过在低维情况下应用 $\ell_4$-范数收缩，在高维情况下采用逐元素收缩，该方法在四阶矩有界条件下实现了近乎极小极大最优的估计，并具备指数偏差界，显著提升了在重尾数据上的逻辑回归与线性回归性能，在噪声和标签错误条件下的数字识别任务中，误分类率降低了超过30%。

ABSTRACT

In this work, we focus on a variant of the generalized linear model (GLM) called corrupted GLM (CGLM) with heavy-tailed features and responses. To robustify the statistical inference on this model, we propose to apply $\ell_4$-norm shrinkage to the feature vectors in the low-dimensional regime and apply elementwise shrinkage to them in the high-dimensional regime. Under bounded fourth moment assumptions, we show that the maximum likelihood estimator (MLE) based on the shrunk data enjoys nearly the minimax optimal rate with an exponential deviation bound. Our simulations demonstrate that the proposed feature shrinkage significantly enhances the statistical performance in linear regression and logistic regression on heavy-tailed data. Finally, we apply our shrinkage principle to guard against mislabeling and image noise in the human-written digit recognition problem. We add an $\ell_4$-norm shrinkage layer to the original neural net and reduce the testing misclassification rate by more than $30\%$ relatively in the presence of mislabeling and image noise.

研究动机与目标

• 解决当特征和响应变量呈现重尾分布时，标准估计器在广义线性模型中性能退化的问题。
• 在弱矩假设（特别是四阶矩有界）而非次高斯或次指数条件的前提下，为广义线性模型构建一个鲁棒的统计框架。
• 改进在重尾特征导致最大似然估计失真的回归问题中的统计效率与推断鲁棒性。
• 将鲁棒估计原理从均值估计与风险最小化扩展至广义线性模型中的特征级污染问题。
• 在涉及标签错误与图像噪声的真实场景中（如基于神经网络的数字识别），展示特征收缩的有效性。

提出的方法

• 在低维情形下对特征向量应用 $\ell_4$-范数收缩，定义为 $\widetilde{\mathbf{x}}_i^s = \min(\|\mathbf{x}_i\|, \tau) \cdot \mathbf{x}_i / \|\mathbf{x}_i\|$，以限制极端特征幅值。
• 在高维情形下使用逐元素收缩，以降低重尾特征对估计的影响。
• 在收缩后的特征上使用改进的最大似然估计器（MLE），在四阶矩有界条件下实现次高斯浓度。
• 推导了在收缩数据上 MLE 的指数偏差界，证明在弱矩假设下具有近乎极小极大最优性。
• 在神经网络中引入一个收缩层，以抵御图像分类任务中的对抗性污染与标签错误。
• 基于 $\ell_4$-范数设计一种阈值机制，以限制特征向量的范数，从而降低异常值对对数似然函数的影响。

实验结果

研究问题

• RQ1 在重尾特征与响应变量条件下，标准 MLE 是否仍保持统计效率，还是因集中性差而表现不佳？
• RQ2 特征收缩（特别是 $\ell_4$-范数或逐元素收缩）是否能提升重尾设计下广义线性模型的估计精度与鲁棒性？
• RQ3 所提出的收缩方法是否仅在四阶矩有界假设下即可实现近乎极小极大最优速率，而无需次高斯假设？
• RQ4 在深度学习模型中，特征收缩在缓解标签错误与图像噪声影响方面效果如何？
• RQ5 收缩原理是否可推广至神经网络，以提升在现实世界中存在数据污染场景下的鲁棒性？

主要发现

• 在四阶矩有界假设下，基于 $\ell_4$-范数收缩特征的 MLE 实现了近乎极小极大最优的估计速率。
• 该方法为收缩数据上的 MLE 提供了指数偏差界，确保即使在重尾特征下仍具有强集中性。
• 模拟结果表明，在重尾数据上的线性回归与逻辑回归中性能显著提升，边界对齐更优，误分类率降低。
• 在存在标签错误与图像噪声的数字识别任务中，加入 $\ell_4$-范数收缩层后，测试误分类率降低了超过30%。
• 理论分析表明，收缩方法以极小的偏差为代价，实现了显著的方差减少，从而在弱矩条件下实现鲁棒推断。
• 当特征呈现重尾分布时，尤其在存在异常值或标签错误数据时，该方法优于标准 MLE。