[论文解读] Robustness and accuracy of methods for high dimensional data analysis based on Student's t statistic

Aurore Delaigle, Peter Hall+1 more|arXiv (Cornell University)|Jan 22, 2010

Advanced Statistical Methods and Models被引用 8

一句话总结

该论文在高维设置下，特别是在重尾分布和稀疏信号条件下，建立了学生t统计量及其自助法近似的稳健性与二阶精度。研究表明，自助法能有效校正极端尾部的偏度，相较于正态分布和t分布近似，在p ≫ n问题中对尾部概率估计更具优势。

ABSTRACT

Student's $t$ statistic is finding applications today that were never envisaged when it was introduced more than a century ago. Many of these applications rely on properties, for example robustness against heavy tailed sampling distributions, that were not explicitly considered until relatively recently. In this paper we explore these features of the $t$ statistic in the context of its application to very high dimensional problems, including feature selection and ranking, highly multiple hypothesis testing, and sparse, high dimensional signal detection. Robustness properties of the $t$-ratio are highlighted, and it is established that those properties are preserved under applications of the bootstrap. In particular, bootstrap methods correct for skewness, and therefore lead to second-order accuracy, even in the extreme tails. Indeed, it is shown that the bootstrap, and also the more popular but less accurate $t$-distribution and normal approximations, are more effective in the tails than towards the middle of the distribution. These properties motivate new methods, for example bootstrap-based techniques for signal detection, that confine attention to the significant tail of a statistic.

研究动机与目标

• 研究在p ≫ n的高维数据中，基于t统计量的方法的稳健性与准确性。
• 考察在重尾抽样分布下，自助法、t分布和正态近似在估计尾部概率方面的表现。
• 在稀疏高维设置下，开发并验证基于自助法的信号检测与多重假设检验方法。
• 在弱矩条件下量化学生化统计量的收敛速率与高阶精度。
• 为基于学生化统计量的高阶批评检验提供理论保证，用于稀疏信号检测。

提出的方法

• 在仅略有限二阶矩的弱矩假设下，分析学生化t统计量的中等与大偏差。
• 使用自助法近似t统计量的抽样分布，表明其能校正偏度，并在极端尾部分达到二阶精度。
• 应用大偏差与中等偏差概率理论，推导t统计量及其自助近似在尾部概率上的界。
• 利用学生化t统计量，推导在原假设与备则假设下高阶批评检验统计量的渐近展开式。
• 采用Mill's比率与极值近似方法，分析高维情形下尾部概率的行为。
• 通过s_n(q) = √(2q log p)重参数化尾部分位数，以研究不同尾部区域中的最大信号检测能力。

实验结果

研究问题

• RQ1 当底层分布具有重尾且仅有少数有限矩时，t统计量在稳健性与准确性方面表现如何？
• RQ2 自助法在多大程度上提升了t统计量尾部概率估计的准确性，特别是在极端尾部？
• RQ3 在经典近似失效的高维设置下，基于自助法的方法能否实现二阶精度？
• RQ4 在高维多重检验中，使用学生化统计量进行稀疏信号检测时，其检测边界是什么？
• RQ5 在重尾与稀疏信号模型下，基于t统计量的高阶批评检验性能与经典方法相比如何？

主要发现

• 即使仅二阶矩有限，t统计量对重尾分布也表现出稳健性，其收敛到正态分布的速度快于未标准化样本均值。
• 自助法对t统计量的近似实现了二阶精度，尤其在尾部区域，通过校正正态分布与t分布近似所受偏度影响。
• 在尾部概率估计中，自助法比正态或t分布近似更有效，尤其当超出概率为指数或多项式极小值时。
• 在稀疏信号检测中，基于t统计量的高阶批评检验在信号强度与稀疏性满足特定阈值条件时，可实现最优检测能力。
• 最大信号检测能力由函数π(q, β, r)决定，其控制尾部概率的指数部分，最优检测发生在q的特定取值，取决于β与r。
• 在备则假设下，高阶批评统计量˜hc_n,α随L_p增长，其增长项涉及标准正态分布的生存函数，检测能力由尾部区域中α的最大值决定。