[论文解读] Multivariate convex regression with adaptive partitioning

Lauren A. Hannah, David B. Dunson|arXiv (Cornell University)|May 10, 2011

Statistical Methods and Inference参考文献 64被引用 10

一句话总结

该论文提出了凸自适应分段（Convex Adaptive Partitioning, CAP），一种计算高效的非参数多变量凸回归方法，通过自适应分段和分段线性模型来强制实现凸性。CAP 的计算复杂度为 $\mathcal{O}(n\log(n)\log(\log(n)))$，显著优于标准最小二乘估计器的 $\mathcal{O}(n^3)$ 复杂度，同时在高维问题（如美式期权定价）中保持了一致性和优异的实证性能。

ABSTRACT

We propose a new, nonparametric method for multivariate regression subject to convexity or concavity constraints on the response function. Convexity constraints are common in economics, statistics, operations research, financial engineering and optimization, but there is currently no multivariate method that is computationally feasible for more than a few hundred observations. We introduce Convex Adaptive Partitioning (CAP), which creates a globally convex regression model from locally linear estimates fit on adaptively selected covariate partitions. CAP is computationally efficient, in stark contrast to current methods. The most popular method, the least squares estimator, has a computational complexity of $\mathcal{O}(n^3)$. We show that CAP has a computational complexity of $\mathcal{O}(n \log(n)\log(\log(n)))$ and also give consistency results. CAP is applied to value function approximation for pricing American basket options with a large number of underlying assets.

研究动机与目标

• 开发一种计算上可行的多变量凸回归方法，能够扩展至大规模数据集和高维场景。
• 解决在数百个观测值以上时，缺乏高效且理论基础坚实的非参数凸回归方法的问题。
• 为现有方法（如最小二乘法和岭回归）提供一种稳健的替代方案，这些方法在高维设置下存在计算成本高或对正则化敏感的问题。
• 使凸回归在金融工程、运筹学和计量经济学等形状约束常见的领域中具有实际应用价值。

提出的方法

• CAP 通过在协变量空间的自适应分段区域内拟合局部线性模型，并取这些模型在每一点上的最大值，构建全局凸回归函数。
• 该算法通过沿坐标轴方向分割并重新拟合超平面以匹配数据，自适应地细化分段，从而改善局部逼近效果。
• 采用广义交叉验证方法选择最优分段数 $K$，在模型拟合度与复杂度之间取得平衡。
• 该方法利用次梯度条件强制实现凸性：$f_0(\mathbf{x}_1) \geq f_0(\mathbf{x}_2) + g_0(\mathbf{x}_2)^T(\mathbf{x}_1 - \mathbf{x}_2)$，确保估计函数位于所有支撑超平面之上。
• Fast CAP 采用修改后的停止规则，实现快速近似，显著降低运行时间，性能损失极小。
• 最终估计器定义为 $\hat{f}_n(\mathbf{x}) = \max_{k=1}^K \alpha_k + \beta_k^T \mathbf{x}$，形成一个分段线性且凸的函数。

实验结果

研究问题

• RQ1 能否开发一种可高效扩展至大规模数据集和高维问题的非参数凸回归方法？
• RQ2 一种保持一致性和形状约束的凸回归估计器的计算复杂度是多少？
• RQ3 在高维数据上，CAP 在预测精度和运行时间方面与最小二乘法、岭回归及树基方法相比表现如何？
• RQ4 基于局部线性拟合的自适应分段能否产生一致且计算高效的凸回归估计？
• RQ5 是否存在一种 CAP 的快速近似方法，可在不牺牲预测性能的前提下显著降低运行时间？

主要发现

• CAP 的计算复杂度为 $\mathcal{O}(p(p+1)^2 n \log n \log \log n)$，相比最小二乘估计器的 $\mathcal{O}((p+1)^3 n^3)$ 复杂度有显著提升。
• CAP 在 $\ell_\infty$ 范数下是一致的，确保随着样本量增加，估计函数收敛于真实凸函数。
• 在美式篮子期权定价中，CAP 和 Fast CAP 取得了最佳下界，其中 CAP 在 15 个资产问题上产生 12.7% 的对偶间隙，在 20 个资产问题上为 8.4%。
• Fast CAP 将运行时间降低了整整一个数量级，且在大规模问题上的运行时间与无正则化的最小二乘法相当。
• 随着资产数量增加，最小二乘法和岭回归均出现过拟合且计算成本高昂，而树回归因误差分布非对称而表现不佳。
• CAP 和 Fast CAP 在所有测试设置下均保持稳定且表现优异，展现出对异方差性和非对称误差的鲁棒性。