[论文解读] On Degrees of Freedom of Projection Estimators with Applications to Multivariate Shape Restricted Regression

Xi Chen, Qihang Lin+1 more|arXiv (Cornell University)|Jan 1, 2015

Statistical Methods and Inference参考文献 52被引用 9

一句话总结

本文为形状限制回归中的投影估计量提供了自由度的统一表征，涵盖有界等高性回归、多变量凸回归以及惩罚凸回归。该研究扩展了已知的岭回归、Lasso 及广义 Lasso 的结果，通过显式自由度公式，使可通过 Stein 无偏风险估计实现调参参数选择。

ABSTRACT

Abstract: Consider the Gaussian sequence model y ∼ N(θ∗, σ2In), where θ ∗ is unknown but known to belong to a closed convex polyhedral set C ⊆ Rn. In this paper we provide a unified characterization of the degrees of freedom for estimators of θ ∗ obtained as the (linearly or quadratically perturbed) par-tial projection of y onto C. As special cases of our results, we derive explicit expressions for the degrees of freedom in many shape restricted regression problems, e.g., bounded isotonic regression, multivariate convex regression and penalized convex regression. Our general theory also yields, as special cases, known results on the degrees of freedom of many well-studied estima-tors in the statistics literature, such as ridge regression, Lasso and generalized Lasso. Our results can be readily used to choose the tuning parameter(s) in-volved in the estimation procedure by minimizing the Stein’s unbiased risk estimate. We illustrate this through simulation studies for bounded isotonic regression and penalized convex regression. As a by-product of our analysis we derive an interesting connection between bounded isotonic regression and isotonic regression on a general partially ordered set, which is of independent interest.

研究动机与目标

• 为形状限制回归问题中的投影估计量自由度建立一般理论。
• 将岭回归、Lasso 及广义 Lasso 等估计量的自由度结果统一于同一框架下。
• 推导有界等高性回归、多变量凸回归及惩罚凸回归的显式自由度表达式。
• 通过 Stein 的无偏风险估计实现数据驱动的调参参数选择。
• 揭示有界等高性回归与在偏序集上进行的等高性回归之间的一种新联系。

提出的方法

• 本文将观测向量 y 建模为均值为 θ∗ 的高斯序列，其取值位于闭凸多面体集 C ⊆ Rn 中。
• 分析在 C 上对 y 进行（线性或二次扰动的）部分投影所定义的估计量。
• 利用几何与凸分析工具表征自由度，尤其依赖多面体集的结构特性。
• 该框架适用于具有形状限制的无约束与有约束估计问题。
• 将该理论应用于推导特定模型（如等高性与凸回归）的显式自由度。
• 该方法支持通过最小化 Stein 无偏风险估计（SURE）实现调参参数选择。

实验结果

研究问题

• RQ1 投影估计量在形状限制回归中的自由度的一般形式是什么？
• RQ2 有界等高性回归的自由度如何显式表征？
• RQ3 现有估计量如岭回归与 Lasso 在多大程度上可纳入此统一框架？
• RQ4 自由度公式在实践中能否用于通过 SURE 实现调参参数选择？
• RQ5 有界等高性回归与一般偏序集上的等高性回归之间存在何种联系？

主要发现

• 本文推导出有界等高性回归、多变量凸回归及惩罚凸回归的显式、闭式自由度表达式。
• 该框架将岭回归、Lasso 及广义 Lasso 的已知自由度结果作为特例恢复。
• 结果表明自由度可计算，并适用于通过 Stein 无偏风险估计实现调参参数选择。
• 模拟研究验证了 SURE 基调参在有界等高性回归与惩罚凸回归中的有效性。
• 研究揭示了有界等高性回归与一般偏序集上等高性回归之间一种出人意料的联系，具有独立的理论意义。
• 该理论为形状限制估计中的模型选择与不确定性量化提供了有原则的方法。