[论文解读] On Suboptimality of Least Squares with Application to Estimation of Convex Bodies

Gil Kur, Alexander Rakhlin+1 more|arXiv (Cornell University)|Jun 7, 2020

Statistical Methods and Inference被引用 4

一句话总结

本文提出了一种通用技术，用于证明在非-Donsker 情境下最小二乘估计（LSE）的样本复杂度下界，表明在维度 $ d \geq 6 $ 时，通过噪声支持函数测量估计凸体，LSE 是极小极大次优的。它表明 LSE 达到了 $ \tilde{\Theta}_d(n^{-2/(d-1)}) $ 的收敛速率，而极小极大最优速率是 $ \Theta_d(n^{-4/(d+3)}) $，从而在此设定下证明了次优性。

ABSTRACT

We develop a technique for establishing lower bounds on the sample complexity of Least Squares (or, Empirical Risk Minimization) for large classes of functions. As an application, we settle an open problem regarding optimality of Least Squares in estimating a convex set from noisy support function measurements in dimension $d\\geq 6$. Specifically, we establish that Least Squares is mimimax sub-optimal, and achieves a rate of $\ ilde{\\Theta}_d(n^{-2/(d-1)})$ whereas the minimax rate is $\\Theta_d(n^{-4/(d+3)})$.

研究动机与目标

• 开发一种在非-Donsker 情境下证明最小二乘估计（LSE）样本复杂度下界的通用方法。
• 解决关于在噪声支持函数测量下估计凸体时 LSE 的极小极大最优性这一开放问题。
• 证明在维度 $ d \geq 6 $ 时，LSE 对紧致凸体的支持函数类是可证明次优的。
• 将分析从固定设计扩展到随机设计设定，为评估 LSE 性能提供统一框架。

提出的方法

• 利用度量熵和熵数，推导出在凸的、非-Donsker 函数类中 LSE 风险的通用下界技术。
• 将该方法应用于 $ \mathbb{R}^d $ 中紧致凸体的支持函数类，表明此类函数类的熵以 $ \epsilon^{-p} $ 的形式增长，其中 $ p > 2 $。
• 使用径向投影和球面帽分析球面上支持函数的度量熵，利用球面棱面的均匀测度。
• 通过分段线性逼近在球面帽上构造 $ \epsilon $-网，并应用 Gao 和 Wellner（2017）的结果来界定熵数。
• 证明在 $ d \geq 6 $ 的非-Donsker 情境下，LSE 无法实现快于 $ \tilde{\Theta}_d(n^{-2/(d-1)}) $ 的收敛速率。
• 利用集中不等式和球面帽中设计点数量的高概率界，表明具有大顶点的集合不太可能被 LSE 选中。

实验结果

研究问题

• RQ1 在维度 $ d \geq 6 $ 时，最小二乘估计量（LSE）在通过噪声支持函数测量估计凸体时是否为极小极大最优？
• RQ2 在非-Donsker 情境下，紧致凸体的支持函数类的 LSE 收敛速率的确切值是什么？
• RQ3 能否开发一种通用技术，用于在非-Donsker 情境下建立 LSE 风险的下界？
• RQ4 在自然的非-Donsker 类中，LSE 是否达到极小极大速率 $ n^{-2/(2+p)} $，还是被更慢的 $ n^{-1/p} $ 所限制？

主要发现

• 在 $ d \geq 6 $ 时，最小二乘估计量（LSE）在通过噪声支持函数测量估计凸体时是极小极大次优的。
• LSE 达到了 $ \tilde{\Theta}_d(n^{-2/(d-1)}) $ 的速率，该速率严格慢于极小极大最优速率 $ \Theta_d(n^{-4/(d+3)}) $。
• 在 $ \mathbb{R}^d $ 中，紧致凸体的支持函数类的熵以 $ \epsilon^{-p} $ 的形式增长，其中 $ p > 2 $，这使得其在 $ d \geq 6 $ 时处于非-Donsker 范畴。
• 本文通过径向投影和分段线性函数在球面帽上构造了 $ \epsilon $-网，从而能够通过度量熵界来估计熵。
• 以高概率，LSE 仅考虑顶点有界于 $ O(d) $ 的凸集，排除了那些具有大顶点、会导致较差似然的集合。
• 分析确认，LSE 风险的下界为 $ \tilde{\Theta}_d(n^{-2/(d-1)}) $，从而证明其无法达到极小极大速率 $ \Theta_d(n^{-4/(d+3)}) $。