[论文解读] Multivariate convex regression: global risk bounds and adaptation

Qiyang Han, Jon A. Wellner|arXiv (Cornell University)|Jan 25, 2016

Statistical Methods and Inference参考文献 65被引用 36

一句话总结

该论文在随机设计下建立了多元凸回归的全局风险界与自适应性质，表明对于光滑凸体，极小极大风险为 $ n^{-2/(d+1)} $，而对于多面体支撑，由于边界估计的挑战，风险为 $ n^{-4/(d+4)} $。论文提出了有界最小二乘估计器（BLSE）和基于模型选择的筛法自适应估计器（SAE），几乎达到了最优速率；其中BLSE在低维下对多面体函数实现近乎参数化的自适应，而SAE在各类正则凸函数类中均实现了近乎最优的速率。

ABSTRACT

We study the problem of estimating a multivariate convex function defined on a convex body in a regression setting with random design. We are interested in optimal rates of convergence under a squared global continuous $l_2$ loss in the multivariate setting $(d\geq 2)$. One crucial fact is that the minimax risks depend heavily on the shape of the support of the regression function. It is shown that the global minimax risk is on the order of $n^{-2/(d+1)}$ when the support is sufficiently smooth, but that the rate $n^{-4/(d+4)}$ is when the support is a polytope. Such differences in rates are due to difficulties in estimating the regression function near the boundary of smooth regions. We then study the natural bounded least squares estimators (BLSE): we show that the BLSE nearly attains the optimal rates of convergence in low dimensions, while suffering rate-inefficiency in high dimensions. We show that the BLSE adapts nearly parametrically to polyhedral functions when the support is polyhedral in low dimensions by a local entropy method. We also show that the boundedness constraint cannot be dropped when risk is assessed via continuous $l_2$ loss. Given rate sub-optimality of the BLSE in higher dimensions, we further study rate-efficient adaptive estimation procedures. Two general model selection methods are developed to provide sieved adaptive estimators (SAE) that achieve nearly optimal rates of convergence for particular "regular" classes of convex functions, while maintaining nearly parametric rate-adaptivity to polyhedral functions in arbitrary dimensions. Interestingly, the uniform boundedness constraint is unnecessary when risks are measured in discrete $l_2$ norms.

研究动机与目标

• 确定在随机设计回归下，估计多元凸函数的 $ L^2 $ 风险下的最优收敛速率。
• 分析支撑的几何结构（光滑与多面体）在高维下对极小极大风险的影响。
• 评估有界最小二乘估计器（BLSE）的性能，并开发能够几乎达到最优速率的自适应估计方法。
• 建立在不同风险范数（连续与离散 $ L^2 $）下，一致有界性是否必要或冗余的条件。
• 将结果推广至从带噪声的支持函数测量中估计未知凸集的自适应估计问题。

提出的方法

• 利用熵与凸几何技术推导全局极小极大风险的上下界，其依赖于支撑的曲率与边界结构。
• 通过局部熵方法分析有界最小二乘估计器（BLSE），表明其在低维下对多面体函数实现近乎参数化的自适应。
• 提出两种通用的模型选择程序——L自适应与P自适应，以构建几乎达到最优速率的筛法自适应估计器（SAE），适用于正则凸函数类。
• 利用经济覆盖帽定理与湿部体积估计 $ \bigl|\Omega(t)\bigr| $ 控制边界行为与熵数。
• 证明在连续 $ L^2 $ 风险下，一致有界性约束是必要的，但在离散 $ L^2 $ 风险下则为冗余，从而实现速率高效的自适应。
• 将该框架应用于从带噪声的支持函数测量中估计未知凸集，得到几乎最优速率的自适应估计器。

实验结果

研究问题

• RQ1 当支撑为光滑与多面体时，多元凸回归的最优收敛速率是什么？
• RQ2 有界最小二乘估计器（BLSE）是否能在不同维数范围与支撑几何下几乎达到最优速率？
• RQ3 支撑的几何结构——特别是曲率与边界结构——如何影响多元凸回归中的极小极大风险？
• RQ4 在连续 $ L^2 $ 损失下，一致有界性约束在何种条件下对风险控制是必要的？
• RQ5 能否使用模型选择方法构建自适应估计器，使其对正则凸函数与多面体函数均几乎达到最优速率？

主要发现

• 对于光滑凸体，全局极小极大风险为 $ n^{-2/(d+1)} $；对于多面体支撑，风险为 $ n^{-4/(d+4)} $，反映了边界估计难度的影响。
• 有界最小二乘估计器（BLSE）在低维下几乎达到最优速率，但在高维下存在速率低效问题。
• 通过局部熵方法，BLSE在低维下对多面体函数实现近乎参数化的自适应，达到 $ n^{-4/(d+4)} $ 的速率。
• 在连续 $ L^2 $ 损失下，一致有界性约束不可省略，但在离散 $ L^2 $ 范数下则为冗余。
• 提出了两种基于模型选择的筛法自适应估计器（SAE），其在正则凸函数类中实现几乎最优速率，并在任意维数下对多面体函数实现近乎参数化的自适应。
• 一个副产品是，在任意维数下，从带噪声的支持函数测量中对未知凸集实现几乎最优速率的自适应估计。