[论文解读] Shape-Constrained Regression using Sum of Squares Polynomials

Mihaela Curmei, Georgina Hall|arXiv (Cornell University)|Apr 8, 2020

Machine Learning and Algorithms被引用 5

一句话总结

本文提出一种基于平方和（SOS）多项式的小型半定规划（SDP）层次方法，用于求解形状约束的多元多项式回归问题，强制在矩形区域上实现凸性或单调性。该方法建立了估计器的理论一致性，并证明了SOS-凸多项式与SOS-单调多项式在其对应的凸多项式集与单调多项式集中是稠密的。数值结果表明，最优性间隙极低，且在大规模、低维问题（包括最优传输与价值函数估计）中表现出色。

ABSTRACT

We present a hierarchy of semidefinite programs (SDPs) for the problem of fitting a shape-constrained (multivariate) polynomial to noisy evaluations of an unknown shape-constrained function. These shape constraints include convexity or monotonicity over a box. We show that polynomial functions that are optimal to any fixed level of our hierarchy form a consistent estimator of the underlying shape-constrained function. As a byproduct of the proof, we establish that sum-of-squares-convex polynomials are dense in the set of polynomials that are convex over an arbitrary box. A similar sum of squares type density result is established for monotone polynomials. In addition, we classify the complexity of convex and monotone polynomial regression as a function of the degree of the polynomial regressor. While our results show NP-hardness of these problems for degree three or larger, we can check numerically that our SDP-based regressors often achieve similar training error at low levels of the hierarchy. Finally, on the computational side, we present an empirical comparison of our SDP-based convex regressors with the convex least squares estimator introduced in [Hildreth, 1954] and [Holloway, 1979] and show that our regressor is valuable in settings where the number of data points is large and the dimension is relatively small. We demonstrate the performance of our regressor for the problem of computing optimal transport maps in a color transfer task and that of estimating the optimal value function of a conic program. A real-time application of the latter problem to inventory management contract negotiation is presented.

研究动机与目标

• 开发一种可扩展、一致的估计器，用于在凸性或单调性约束下进行形状约束的多项式回归。
• 建立理论稠密性结果，证明SOS-凸多项式在紧致矩形区域上凸多项式集合中是稠密的。
• 刻画凸多项式与单调多项式回归的计算复杂度，表明当多项式次数≥3时为NP难问题。
• 在泛化误差与计算效率方面，展示基于SOS的估计器相较于现有方法（如CLSE与MAE）的实证优势。
• 将该方法应用于实际问题：生产函数估计、通过颜色迁移计算最优传输映射，以及基于价值函数估计的实时库存管理。

提出的方法

• 构建一个以次数$d$与层次级别$r$为参数的半定规划（SDP）层次结构，通过平方和表示法强制实施形状约束。
• 利用SOS表示法在矩形区域上全局编码凸性与单调性约束，实现基于凸优化的验证与训练。
• 采用矩-平方和松弛框架，近似求解形状约束的多项式回归问题。
• 引入一种基于凸优化的间隙界方法，比较真实形状约束问题与SOS松弛问题的最优值之间的差距。
• 将该方法应用于三个实际场景：计量经济学中的生产函数拟合、通过颜色迁移计算最优传输映射，以及锥规划中价值函数的最优估计。
• 利用强对偶性与半定松弛技术，确保约束的有效性与计算可处理性。

实验结果

研究问题

• RQ1 基于SOS的SDP层次结构能否在凸性或单调性约束下一致估计形状约束函数？
• RQ2 SOS-凸多项式是否在紧致矩形区域上凸多项式集合中是稠密的？
• RQ3 凸多项式与单调多项式回归的计算复杂度如何随多项式次数变化？
• RQ4 在大规模、低维设置下，SOS估计器的泛化误差与CLSE和MAE等成熟方法相比如何？
• RQ5 基于SOS的方法能否在实时应用中有效估计最优传输映射与价值函数？

主要发现

• 所提出的SOS-估计器在任意固定的层次级别$r$下具有一致性，证明了其理论收敛性，可逼近真实形状约束函数。
• SOS-凸多项式在任意紧致矩形区域上凸多项式集合中是稠密的，将平方和稠密性结果扩展至凸性约束。
• SOS-单调多项式在矩形区域上单调多项式集合中是稠密的，为单调性约束建立了类似的稠密性结果。
• 真实形状约束回归问题与SOS松弛问题之间的最优值间隙极小——即使在低层次$r=1$、次数$d=3$时，间隙也小于2%。
• 在大规模、低维设置下，SOS估计器在泛化误差方面优于CLSE与MAE，尤其在需要快速、重复预测的场景中表现更优。
• 该方法在颜色迁移任务中达到最先进性能，优于基于CLSE的方法，并实现了库存管理合同谈判中价值函数的实时估计。