[论文解读] Nonparametric Least Squares Estimation of a Multivariate Convex Regression Function

Emilio Seijo, Bodhisattva Sen|arXiv (Cornell University)|Mar 24, 2010

Advanced Statistical Methods and Models参考文献 32被引用 7

一句话总结

本文提出了一种基于二次规划和线性规划的非参数最小二乘估计方法，用于多变量凸回归函数，在固定设计和随机设计设置下，于较弱的正则性条件下建立了其一致性。主要贡献在于提出了一种计算上可行、无需调参的估计方法，能够一致地估计多维设置下的凸回归函数及其次微分。

ABSTRACT

This paper deals with the consistency of the least squares estimator of a convex regression function when the predictor is multidimensional. We characterize and discuss the computation of such an estimator via the solution of certain quadratic and linear programs. Mild sufficient conditions for the consistency of this estimator and its subdifferentials in fixed and stochastic design regression settings are provided. We also consider a regression function which is known to be convex and componentwise nonincreasing and discuss the characterization, computation and consistency of its least squares estimator.

研究动机与目标

• 本文旨在解决多变量凸回归函数非参数估计中系统方法缺乏的问题。
• 旨在表征并计算高维预测变量空间中凸回归的最小二乘估计。
• 目标包括在较弱的正则性条件下证明估计及其次微分的一致性。
• 将现有的单变量凸回归理论扩展至多变量情形，其中自然的序结构不复存在。
• 旨在提供一种无需调参的替代方法，以替代需要在高维下进行复杂带宽选择的核方法或惩罚方法。

提出的方法

• 最小二乘估计定义为在观测预测变量的凸包上最小化经验L2损失的凸函数。
• 通过求解二次规划问题计算估计，利用线性不等式约束凸性条件。
• 通过求解线性规划实现估计的逐点评估，从而在特定设计点实现高效计算。
• 该方法依赖于凸函数的次微分表征，基于循环单调性和二阶条件。
• 通过凸集的几何性质以及凸包的极值点，建立了理论一致性。
• 该方法避免了调参，与常用于非参数回归的核方法或样条方法形成鲜明对比。

实验结果

研究问题

• RQ1 在具有多维预测变量的非参数设置下，多变量凸回归函数的最小二乘估计能否一致估计？
• RQ2 在高维设置下，如何高效计算估计及其次微分？
• RQ3 哪些正则性条件可确保在固定设计和随机设计回归模型中最小二乘估计的一致性？
• RQ4 与现有方法相比，该方法在计算可行性与调参需求方面表现如何？
• RQ5 能否利用二次规划和线性规划等凸优化技术对估计进行表征与计算？

主要发现

• 在固定设计和随机设计设置下，多变量凸回归函数的最小二乘估计在较弱的正则性条件下具有一致性。
• 估计可通过求解凸二次规划问题计算，其逐点评估可通过线性规划实现。
• 在相同条件下，估计的次微分也具有一致性。
• 该方法无需调参，避免了核方法在高维下复杂的带宽选择问题。
• 凸包的几何结构及其极值点在证明一致性和实现计算中起着关键作用。
• 该方法将单变量凸回归理论推广至高维情形，其中由于缺乏自然序结构，估计变得更为复杂。