[论文解读] Multivariate Convex Regression at Scale

Wenyu Chen, Rahul Mazumder|arXiv (Cornell University)|May 23, 2020

Machine Learning and Algorithms参考文献 38被引用 8

一句话总结

本文提出了一种可扩展的主动集算法，用于大规模多变量凸回归，通过近似子问题优化和随机增强规则，在对偶 QP 上实现线性收敛。该方法在数分钟内求解了 n=10⁵ 且 d=10 的实例，显著优于以往方法。

ABSTRACT

We present new large-scale algorithms for fitting a subgradient regularized multivariate convex regression function to $n$ samples in $d$ dimensions -- a key problem in shape constrained nonparametric regression with widespread applications in statistics, engineering and the applied sciences. The infinite-dimensional learning task can be expressed via a convex quadratic program (QP) with $O(nd)$ decision variables and $O(n^2)$ constraints. While instances with $n$ in the lower thousands can be addressed with current algorithms within reasonable runtimes, solving larger problems (e.g., $n\approx 10^4$ or $10^5$) is computationally challenging. To this end, we present an active set type algorithm on the dual QP. For computational scalability, we perform approximate optimization of the reduced sub-problems; and propose randomized augmentation rules for expanding the active set. Although the dual is not strongly convex, we present a novel linear convergence rate of our algorithm on the dual. We demonstrate that our framework can approximately solve instances of the convex regression problem with $n=10^5$ and $d=10$ within minutes; and offers significant computational gains compared to earlier approaches.

研究动机与目标

• 解决在 n ≈ 10⁴ 至 10⁵ 个样本的大数据集上拟合多变量凸回归函数的计算挑战。
• 克服现有凸二次规划（QP）求解器在具有 O(nd) 变量和 O(n²) 约束的无限维学习任务中的可扩展性限制。
• 开发一种对偶主动集算法，以实现在大规模实例上的高效优化。
• 即使对偶 QP 不是强凸的，也确保收敛性保证。

提出的方法

• 将多变量凸回归问题表述为具有 O(nd) 决策变量和 O(n²) 约束的凸 QP。
• 对对偶 QP 应用主动集方法，通过近似优化迭代求解缩减后的子问题。
• 引入随机增强规则，以高效扩展主动集，提升可扩展性。
• 在对偶问题上建立一种新颖的线性收敛速率，即使对偶问题不是强凸的。
• 使用次梯度正则化以在回归函数中强制实现凸性和形状约束。
• 利用对偶性将无限维学习任务转化为可处理的优化框架。

实验结果

研究问题

• RQ1 尽管对偶问题不是强凸的，是否能在对偶 QP 上通过主动集算法实现大规模多变量凸回归的线性收敛？
• RQ2 如何有效结合缩减子问题的近似优化与随机主动集扩展，以实现 n=10⁵ 的可扩展性？
• RQ3 在 n 较大且 d 适中时，所提方法相比现有方法在计算性能上有多大提升？
• RQ4 该算法在大幅缩短运行时间的同时，能在多大程度上保持大规模实例的解质量？

主要发现

• 所提算法在对偶 QP 上实现了线性收敛，即使对偶问题不是强凸的，建立了新颖的理论保证。
• 该方法在数分钟内近似求解了 n=10⁵ 且 d=10 的多变量凸回归问题，展现出极高的可扩展性。
• 计算实验表明，与早期方法相比，运行时间显著缩短，使该方法在大规模数据集上具备实际可用性。
• 随机增强规则有效扩展了主动集，促进了更快的收敛和可扩展性。
• 近似子问题优化在大幅降低每次迭代成本的同时，保持了良好的解质量。