[论文解读] Support recovery via weighted maximum-contrast subagging

Jelena Bradić|arXiv (Cornell University)|Jun 14, 2013

Sparse and Compressive Sensing Techniques被引用 3

一句话总结

本文提出加权最大对比子聚集法（weighted maximum-contrast subagging），作为Lasso估计器标准子聚集法的随机化与平滑化替代方法，以实现在大规模稀疏回归中的可靠支撑集恢复。该方法即使在单个估计器不具备类似Oracle的性质时，也能对假阳性与假阴性实现紧密控制，并通过自适应调参与最优加权实现类似Oracle的性能。

ABSTRACT

Abstract. In this paper, we study finite sample properties of subagging for non-smooth estimation and model selection in sparse and large-scale regression settings where both the number of parameters and the number of samples can be extremely large. This setup is very different from high-dimensional regression and is such that Lasso estimator might be inappropriate for computational, rather than statistical rea-sons. We show that subagging of Lasso estimators results in discontinuous estimated support set and is never able to recover sparsity set when at least one of aggregated es-timators has probability of support recovery strictly less than 1. Therefore, we propose its randomized and smoothed alternative, which we call weighted maximum-contrast subagging. We develop theory in support of the claim that proposed method has tight error control over both false positives and false negatives, regardless of the size of a dataset. Unlike existing methods, it allows for oracle-like properties, even in cases of non-oracle-like properties of aggregated estimators. Furthermore, we design an adaptive procedure for selecting tuning parameters and appropriate optimal weight-ing scheme. Finally, we validate our theoretical findings through extensive simulation study and analysis of a part of the million-song-challenge dataset.

研究动机与目标

• 解决标准子聚集法在大规模、非光滑回归中因支撑集估计不连续而无法恢复真实稀疏集的问题。
• 克服子聚集法若任一聚合估计器的支撑集恢复概率低于100%，则无法实现支撑集恢复的局限性。
• 开发一种方法，确保无论数据集规模如何，对假阳性和假阴性均实现紧密控制。
• 即使单个Lasso估计器不具备类似Oracle的性质，仍实现类似Oracle的支撑集恢复性能。
• 设计一种自适应调参与最优加权程序，以提升经验性能。

提出的方法

• 通过引入权重与基于对比的聚合，提出子聚集法的随机化与平滑化变体——加权最大对比子聚集法，以稳定支撑集估计。
• 采用加权最大对比聚合方案，通过对比函数组合多个Lasso估计器，以增强支撑集恢复的稳定性。
• 提出一种自适应调参选择程序，根据数据特征调整以优化性能。
• 设计一种最小化估计误差并提升稀疏性恢复一致性的最优加权方案。
• 借助理论分析表明，该方法在一般条件下能保持对假阳性率与假阴性率的紧密控制。
• 将该方法应用于大规模数据集，包括million-song-challenge数据集的一个子集，以验证其经验性能。

实验结果

研究问题

• RQ1 当单个估计器的支撑集恢复概率严格小于1时，标准Lasso估计器子聚集法能否在大规模稀疏回归中可靠恢复真实支撑集？
• RQ2 作为子聚集法的随机化与平滑化替代方法——加权最大对比子聚集法，能否对假阳性和假阴性实现更紧密的控制？
• RQ3 即使聚合的Lasso估计器不具备类似Oracle的性质，所提方法能否实现类似Oracle的支撑集恢复性能？
• RQ4 在有限样本中，何种自适应调参与加权策略能最优优化加权最大对比子聚集法的性能？
• RQ5 该方法在真实世界的大规模数据集（如million-song-challenge数据集的一个子集）上的实际表现如何？

主要发现

• 当任一聚合估计器的支撑集恢复概率严格小于1时，标准Lasso估计器子聚集法无法恢复真实稀疏集。
• 加权最大对比子聚集法无论数据集规模如何，均能对假阳性率与假阴性率实现紧密控制。
• 即使单个估计器不具备类似Oracle的性质，该方法仍能实现类似Oracle的支撑集恢复性能。
• 自适应调参与最优加权方案显著提升了有限样本下的性能与支撑集恢复准确性。
• 在million-song-challenge数据集子集上的实证验证确认了理论发现，并展示了在真实场景下的鲁棒性。
• 所提方法在支撑集恢复一致性与误差控制方面优于标准子聚集法，在大规模回归中表现更优。