[论文解读] On the risk of convex-constrained least squares estimators under misspecification

Billy Fang, Adityanand Guntuboyina|arXiv (Cornell University)|Jun 13, 2017

Statistical Methods and Inference参考文献 12被引用 4

一句话总结

本文研究在模型误设条件下（即真实均值向量位于约束集之外）的凸约束最小二乘估计器。结果表明，在高噪声（大σ）极限下，估计器的风险可显著低于正确设定情形下的风险，将Oymak与Hassibi的低噪声风险表征推广至多面体约束的误设情形，对序数回归及形状限制模型具有重要意义。

ABSTRACT

We consider the problem of estimating the mean of a noisy vector. When the mean lies in a convex constraint set, the least squares projection of the random vector onto the set is a natural estimator. Properties of the risk of this estimator, such as its asymptotic behavior as the noise tends to zero, have been well studied. We instead study the behavior of this estimator under misspecification, that is, without the assumption that the mean lies in the constraint set. For appropriately defined notions of risk in the misspecified setting, we prove a generalization of a low noise characterization of the risk due to Oymak and Hassibi in the case of a polyhedral constraint set. An interesting consequence of our results is that the risk can be much smaller in the misspecified setting than in the well-specified setting. We also discuss consequences of our result for isotonic regression.

研究动机与目标

• 研究当真实均值向量不在约束集中（即模型误设）时，凸约束最小二乘估计器的行为。
• 将Oymak与Hassibi对低噪声情形下风险的表征推广至高噪声情形与误设设定。
• 研究当噪声方差σ² → ∞时的渐近风险行为，特别是针对多面体约束集。
• 探讨结果对序数回归及其他形状限制模型的启示。
• 以约束集的切锥与渐近锥的统计维数表征极限风险。

提出的方法

• 使用闭凸集C上的最小二乘投影作为估计器：ŝθ(Y) = Π_C(Y)。
• 分析误设情形（θ* ∉ C）下的风险 R(ŝθ, θ*) = E_θ* ||ŝθ(Y) - θ*||²。
• 应用控制收敛定理，研究σ⁻²倍风险在高噪声极限（σ → ∞）下的行为。
• 引入约束集C的渐近锥K_C，并将极限风险与统计维数δ(K_C)关联。
• 证明 lim_{σ→∞} σ⁻² E||Π_C(Y) - θ*||² = δ(K_C)，其中δ表示统计维数。
• 利用锥上投影的性质及投影映射的连续性，证明极限交换的合理性。

实验结果

研究问题

• RQ1 当真实均值向量位于约束集之外时，凸约束最小二乘估计器的风险行为如何？
• RQ2 高噪声（大σ）极限下，归一化风险能否用约束集的几何特征表征？
• RQ3 在误设设定下，风险是否可能低于正确设定情形下的风险？
• RQ4 渐近锥K_C在决定σ → ∞时的极限风险中起什么作用？
• RQ5 这些结果如何推广至序数回归及其他形状限制模型？

主要发现

• 在高噪声极限（σ → ∞）下，归一化风险σ⁻² E||Π_C(Y) - θ*||²收敛于约束集C的渐近锥K_C的统计维数。
• 极限风险δ(K_C)可严格小于正确设定下的风险σ² δ(T_C(θ*))，表明在高噪声情形下，误设可能导致更低风险。
• 对于无界约束集C，渐近锥K_C非平凡，且δ(K_C) > 0；对于有界C，K_C = {0}，因此极限风险为零。
• 该结果将Oymak与Hassibi的低噪声表征推广至高噪声情形，表明δ(K_C)在两种极端情形中均起双重作用。
• 通过控制收敛定理与投影映射的连续性，证明了归一化风险收敛至δ(K_C)的合理性。
• 对于序数回归（其中C = ℝⁿ₊），极限风险为δ(ℝⁿ₊) = n，但因约束结构的存在，有限样本风险在误设下可能更小。