[论文解读] Robustness in sparse linear models: relative efficiency based on robust approximate message passing

Jelena Bradić|arXiv (Cornell University)|Jul 31, 2015

Statistical Methods and Inference参考文献 36被引用 10

一句话总结

本文提出了一种鲁棒的稀疏近似消息传递算法（RAMP），用于高维线性模型（$ p ≫j n $），采用非二次、不可微的损失函数，以在重尾误差下提升估计效率。研究证明，在重尾误差下，惩罚最小绝对偏差（LAD）在效率上优于最小二乘法（LS），即使在稀疏性存在的情况下，也逆转了经典非惩罚设置下的效率模式。

ABSTRACT

Understanding efficiency in high dimensional linear models is a longstanding problem of interest. Classical work with smaller dimensional problems dating back to Huber and Bickel has illustrated the benefits of efficient loss functions. When the number of parameters $p$ is of the same order as the sample size $n$, $p \approx n$, an efficiency pattern different from the one of Huber was recently established. In this work, we consider the effects of model selection on the estimation efficiency of penalized methods. In particular, we explore whether sparsity, results in new efficiency patterns when $p > n$. In the interest of deriving the asymptotic mean squared error for regularized M-estimators, we use the powerful framework of approximate message passing. We propose a novel, robust and sparse approximate message passing algorithm (RAMP), that is adaptive to the error distribution. Our algorithm includes many non-quadratic and non-differentiable loss functions. We derive its asymptotic mean squared error and show its convergence, while allowing $p, n, s o \infty$, with $n/p \in (0,1)$ and $n/s \in (1,\infty)$. We identify new patterns of relative efficiency regarding a number of penalized $M$ estimators, when $p$ is much larger than $n$. We show that the classical information bound is no longer reachable, even for light--tailed error distributions. We show that the penalized least absolute deviation estimator dominates the penalized least square estimator, in cases of heavy--tailed distributions. We observe this pattern for all choices of the number of non-zero parameters $s$, both $s \leq n$ and $s \approx n$. In non-penalized problems where $s =p \approx n$, the opposite regime holds. Therefore, we discover that the presence of model selection significantly changes the efficiency patterns.

研究动机与目标

• 理解在 $ p \approx n $ 或 $ p \gg n $ 的高维稀疏线性模型中，估计效率的表现，特别是当误差分布非正态时。
• 解决经典惩罚M-估计器在误差偏离正态分布且存在稀疏性时缺乏鲁棒性的问题。
• 在一般损失函数（包括不可微函数）下，推导正则化M-估计器的渐近均方误差（AMSE）。
• 研究模型选择（稀疏性）如何改变经典Huber型M-估计中观察到的效率模式。
• 开发一种鲁棒且自适应的算法（RAMP），可处理多样的误差分布，并在 $ p,n,s \to \infty $ 时收敛，其中 $ n/p \in (0,1) $ 且 $ n/s \in (1,\infty) $。

提出的方法

• 提出一种新颖的鲁棒近似消息传递（RAMP）算法，通过使用一般M-估计损失函数，自适应于未知误差分布。
• 利用近似消息传递（AMP）框架，在高维渐近下推导惩罚M-估计器的渐近均方误差（AMSE）。
• 采用状态演化分析来追踪估计误差的动力学，假设设计矩阵为i.i.d.高斯分布，且噪声为次高斯分布。
• 引入非二次和不可微的损失函数（例如，$ \rho(u) = |u| $ 用于LAD），以超越最小二乘法并提升鲁棒性。
• 在联合渐近 $ p,n,s \to \infty $ 下，推导RAMP算法的收敛性，其中 $ n/p \in (0,1) $ 且 $ n/s \in (1,\infty) $，确保在高维情形下的一致性。
• 基于信噪比和状态演化中的软阈值化机制，实现稀疏性保持与误差传播的控制。

实验结果

研究问题

• RQ1 在高维模型中（$ p \gg n $），稀疏性如何改变M-估计器的古典效率模式，与低维情形相比？
• RQ2 在 $ p \gg n $ 时，鲁棒稀疏M-估计器是否能在重尾误差分布下实现优于最小二乘法的估计效率？
• RQ3 在重尾误差下，即使 $ s \approx n $，惩罚最小绝对偏差（LAD）估计器是否仍优于惩罚最小二乘法（LS）估计器的相对效率？
• RQ4 在高维稀疏模型中（$ p \gg n $），经典信息界是否仍可达到，即使对于轻尾误差？
• RQ5 模型选择（稀疏性）的存在如何逆转非惩罚设置下LS通常优于LAD的效率主导模式？

主要发现

• 在重尾误差分布下，惩罚最小绝对偏差（LAD）估计器在所有 $ s $ 值下（包括 $ s \leq n $ 和 $ s \approx n $）均优于惩罚最小二乘法（LS）估计器的相对效率。
• 由于稀疏性与高维性的相互作用，即使在轻尾误差分布下，经典信息界在高维稀疏模型中也无法再达到。
• 稀疏性从根本上改变了效率模式：在非惩罚模型中（$ s = p \approx n $），LS优于LAD；但在惩罚稀疏模型中（$ s \ll p $），LAD优于LS。
• 所提出的RAMP算法在联合渐近 $ p,n,s \to \infty $ 下实现收敛，且在 $ n/p \in (0,1) $ 与 $ n/s \in (1,\infty) $ 条件下，提供一致的渐近均方误差（AMSE）近似。
• RAMP算法对未知误差分布具有鲁棒性和自适应性，支持广泛的非二次和不可微损失函数，超越最小二乘损失。
• 状态演化分析证实，RAMP算法保持了稳定的误差动力学，并通过软阈值化实现最优阈值行为，确保在适当条件下收敛至真实稀疏信号。