[论文解读] Sequential construction and dimension reduction of Gaussian processes under constraints

François Bachoc, Andrés F. López-Lopera+1 more|arXiv (Cornell University)|Sep 9, 2020

Gaussian Processes and Bayesian Inference参考文献 38被引用 6

一句话总结

本文提出MaxMod，一种用于构建具有降维和自适应节点放置的约束高斯过程的序列算法。通过基于最大后验模式修改迭代添加活跃变量或一维节点，MaxMod确保收敛性，并在保持约束（如单调性、有界性）的同时，以比以往方法更少的节点数高效扩展至更高维度（高达20维）。

ABSTRACT

Accounting for inequality constraints, such as boundedness, monotonicity or convexity, is challenging when modeling costly-to-evaluate black box functions. In this regard, finite-dimensional Gaussian process (GP) regression models bring a valuable solution, as they guarantee that the inequality constraints are satisfied everywhere. Nevertheless, these models are currently restricted to small dimensional situations (up to dimension 5). Addressing this issue, we introduce the MaxMod algorithm that sequentially inserts one-dimensional knots or adds active variables, thereby performing at the same time dimension reduction and efficient knot allocation. We prove the convergence of this algorithm. In intermediary steps of the proof, we propose the notion of multi-affine extension and study its properties. We also prove the convergence of finite-dimensional GPs, when the knots are not dense in the input space, extending the recent literature. With simulated and real data, we demonstrate that the MaxMod algorithm remains efficient in higher dimension (at least in dimension 20), and needs fewer knots than other constrained GP models from the state-of-the-art, to reach a given approximation error.

研究动机与目标

• 为解决高维输入空间中不等式约束下有限维高斯过程模型的可扩展性限制。
• 开发一种在单一框架内同时实现降维与高效节点分配的方法。
• 确保不等式约束（如有界性、单调性）在整个输入空间内全局满足，而不仅在观测点处。
• 证明在序列节点与变量选择下，所得约束高斯过程模型的收敛性。
• 在高维设置下，通过减少节点数量和近似误差，展示更高的效率。

提出的方法

• MaxMod根据对最大后验概率（MAP）函数的$L^2$-范数修改最大值，依次选择插入新的活跃变量或一维节点。
• 该算法采用一种平衡节点插入与变量激活对MAP函数$L^2$范数变化影响的标准。
• 它采用约束高斯过程模型的多仿射扩展，以分析MAP函数在节点划分区域内的行为。
• 该方法依赖于变量集$\mathcal{J}_m$与节点集$S^{(m)}_i$的嵌套序列，确保随着节点密度增加而收敛。
• 通过证明MAP函数修改的$L^2$-范数趋于零，且所有变量与节点集在$[0,1]$上趋于稠密，从而证明收敛性。
• 该方法将有限维高斯过程收敛性理论推广至非稠密节点集，扩展了近期的理论成果。

实验结果

研究问题

• RQ1 能否设计一种序列算法，在保持全局不等式约束的前提下，有效实现约束高斯过程中降维与节点分配的协同？
• RQ2 MaxMod算法在不等式约束下是否收敛至真实潜在函数的一致近似？
• RQ3 在高维设置下，MaxMod在近似误差与所需节点数方面相较于现有约束高斯过程模型表现如何？
• RQ4 该算法能否识别并优先处理最具影响力的变量，同时自适应地将节点分配至函数变化较大的区域？
• RQ5 当节点在输入空间中不稠密时，有限维高斯过程近似收敛性的理论保证为何？

主要发现

• 即使初始节点集不稠密，MaxMod仍能实现MAP函数在不等式约束下收敛至真实函数。
• 该算法确保所有输入变量最终均变为活跃状态，且其对应的节点集在$[0,1]$上趋于稠密，从而保证完全收敛。
• 在模拟与真实数据中，MaxMod在维度20下仍保持高精度，且所需节点数显著少于当前最先进的约束高斯过程模型。
• 该方法通过动态将节点分配至函数变化较大的区域，并优先处理关键变量，优于现有方法。
• 理论分析证实，随着节点数量增加且算法在每一步选择最具影响力的添加项，MAP函数实现一致收敛。
• 多仿射扩展的引入为研究约束高斯过程模型及其收敛行为提供了新的分析工具。