[论文解读] On model selection consistency of M-estimators with geometrically decomposable penalties

Jason D. Lee, Yuekai Sun+1 more|arXiv (Cornell University)|May 31, 2013

Statistical Methods and Inference参考文献 28被引用 2

一句话总结

本文提出了一种通用框架，用于在具有几何可分解惩罚项的M-估计量中建立模型选择一致性——即惩罚项可表示为凸集上支撑函数之和。通过将不可表示性条件（irrepresentable condition）推广至此类惩罚项，作者推导出在高维模型中实现一致变量选择的充分条件，并将其应用于生物信息学与统计学习领域。

ABSTRACT

Penalized M-estimators are used in diverse areas of science and engineering to fit high-dimensional models with some low-dimensional structure. Often, the penal-ties are geometrically decomposable, i.e. can be expressed as a sum of support functions over convex sets. We generalize the notion of irrepresentable to geomet-rically decomposable penalties and develop a general framework for establishing consistency and model selection consistency of M-estimators with such penalties. We then use this framework to derive results for some special cases of interest in bioinformatics and statistical learning. 1

研究动机与目标

• 将不可表示性条件的概念推广至高维M-估计量中的几何可分解惩罚项。
• 建立具有此类惩罚项的M-估计量的模型选择一致性的充分条件。
• 为涉及结构化高维模型的多种科学与工程应用提供一个通用的理论框架。
• 推导出与生物信息学和统计学习相关的特定惩罚类型的一致性结果。

提出的方法

• 引入几何可分解惩罚项的概念，即凸集上支撑函数之和。
• 利用凸分析，将不可表示性条件推广至此类惩罚项类别。
• 基于次梯度条件与惩罚函数的几何性质，构建理论框架。
• 将该框架应用于推导高维统计中常用特定惩罚项的一致性结果。
• 运用凸几何与经验过程理论的工具，分析在结构化稀疏性下M-估计量的行为。
• 建立在样本量增加时，以高概率恢复真实模型的条件。

实验结果

研究问题

• RQ1 在何种条件下，具有几何可分解惩罚项的M-估计量能以高概率选择出正确模型？
• RQ2 如何将不可表示性条件推广至可表示为凸集上支撑函数之和的惩罚项？
• RQ3 在具有结构化稀疏性的高维模型中，模型选择一致性的充分条件是什么？
• RQ4 所提出的条件在稀疏线性模型与组lasso设置下如何退化为已知结果？
• RQ5 该框架对生物信息学与统计学习应用有何影响？

主要发现

• 本文建立了具有几何可分解惩罚项的M-估计量在模型选择一致性方面的通用条件，扩展了经典的不可表示性条件。
• 所提出的框架在弱于以往已知假设的条件下，实现了对结构化惩罚项的一致性结果推导。
• 该框架适用于广泛的惩罚类型，包括组lasso与融合lasso，提供了统一的理论基础。
• 研究表明，惩罚项的几何结构会影响一致模型选择的可行性。
• 结果为在高维统计学习中使用结构化惩罚项提供了理论依据。
• 该框架使得在设计矩阵不满足标准非相干性假设的场景下，也能对M-估计量进行分析。