[论文解读] Variable selection for Gaussian process regression through a sparse projection

Chiwoo Park, David J. Borth+2 more|arXiv (Cornell University)|Aug 24, 2020

Gaussian Processes and Bayesian Inference被引用 5

一句话总结

该论文提出了一种基于稀疏投影的高斯过程回归新型变量选择方法，通过前向分段回归结合梯度下降，联合优化投影矩阵与协方差参数。该方法在基准方法之上实现了更优的变量选择准确率，并成功识别出大气腐蚀建模中的关键环境因素。

ABSTRACT

This paper presents a new variable selection approach integrated with Gaussian process (GP) regression. We consider a sparse projection of input variables and a general stationary covariance model that depends on the Euclidean distance between the projected features. The sparse projection matrix is considered as an unknown parameter. We propose a forward stagewise approach with embedded gradient descent steps to co-optimize the parameter with other covariance parameters based on the maximization of a non-convex marginal likelihood function with a concave sparsity penalty, and some convergence properties of the algorithm are provided. The proposed model covers a broader class of stationary covariance functions than the existing automatic relevance determination approaches, and the solution approach is more computationally feasible than the existing MCMC sampling procedures for the automatic relevance parameter estimation with a sparsity prior. The approach is evaluated for a large number of simulated scenarios. The choice of tuning parameters and the accuracy of the parameter estimation are evaluated with the simulation study. In the comparison to some chosen benchmark approaches, the proposed approach has provided a better accuracy in the variable selection. It is applied to an important problem of identifying environmental factors that affect an atmospheric corrosion of metal alloys.

研究动机与目标

• 解决高斯过程回归中高维输入变量带来的预测性能下降与计算成本增加的问题。
• 克服传统变量选择与降维技术在响应变量监督不足方面的局限性。
• 为高斯过程回归中的变量选择与协方差参数估计，开发一种计算高效的联合优化框架。
• 提出一种基于稀疏投影的自动相关性确定替代方法，提升可解释性与性能表现。
• 在模拟数据与真实世界的大气腐蚀数据集上评估该方法，以验证其鲁棒性与实际应用价值。

提出的方法

• 通过投影矩阵V对输入变量进行稀疏投影，其中z = Vx，且通过凹型稀疏惩罚约束V为稀疏矩阵。
• 基于投影特征z之间的欧氏距离，使用通用平稳核函数建模协方差函数。
• 通过最大化带有稀疏性正则化的非凸边际似然函数，联合优化稀疏投影矩阵V与其他GP协方差参数。
• 采用嵌入梯度下降步骤的前向分段算法，以处理非凸优化问题。
• 采用凹型稀疏惩罚（如SCAD或MCP型）以促进投影矩阵中的稀疏解，确保仅原始变量的子集参与每个投影特征的构建。
• 为所提算法提供理论收敛性分析，确保优化过程的稳定与可靠。

实验结果

研究问题

• RQ1 能否有效联合优化稀疏投影矩阵与GP协方差参数，以提升变量选择的准确率？
• RQ2 与基于MCMC的ARD及标准前向逐步选择等基准方法相比，所提方法在变量选择性能上表现如何？
• RQ3 在降低输入维度时，该方法在预测准确率方面是否保持或提升？
• RQ4 该方法能否在真实世界数据中识别出影响大气腐蚀的有意义且可解释的环境因素？
• RQ5 在模拟研究中，该算法对调优参数选择及不同数据维度的敏感性如何？

主要发现

• 在大多数模拟场景中，所提方法的变量选择准确率优于基准方法，展现出在识别相关输入变量方面的优越性能。
• 在大气腐蚀案例研究中，使用10个选定变量的简化GP模型优于包含全部27个因子的完整模型，MSE更低（0.0434 vs. 0.0475），NLPD更优（-1.0865 vs. -0.6035），表明预测准确率得到提升。
• 所选的十个变量——温度、相对湿度、臭氧（O₃）、高频阻抗与降雨量——与专家知识一致，验证了该方法在生物学与物理层面的可解释性。
• 该方法成功识别出温度与湿度为腐蚀的主要驱动因素，与现有文献结论一致。
• 臭氧与阻抗作为关键因素的识别得到腐蚀科学领域的前期研究支持，进一步验证了该方法在真实应用中的可靠性。
• 嵌入梯度下降的前向分段方法在强稀疏惩罚下仍能有效避免稠密解，而标准梯度下降或拟牛顿法则易产生稠密解。