[论文解读] Variable selection with genetic algorithms using repeated cross-validation of PLS regression models as fitness measure

David Kepplinger, Peter Filzmoser+1 more|ArXiv.org|Nov 17, 2017

Spectroscopy and Chemometric Analyses被引用 3

一句话总结

本文提出了一种用于变量选择中遗传算法的新型适应度评估框架，通过重复交叉验证偏最小二乘法（PLS）回归模型来估计内部和外部预测性能。通过利用经过交叉验证的PLS模型优化预测精度，该方法识别出相较于传统适应度度量具有更优外部预测能力的变量子集，尤其在真实化学计量学数据集中，其表现显著优于标准的R²基准准则。

ABSTRACT

Genetic algorithms are a widely used method in chemometrics for extracting variable subsets with high prediction power. Most fitness measures used by these genetic algorithms are based on the ordinary least-squares fit of the resulting model to the entire data or a subset thereof. Due to multicollinearity, partial least squares regression is often more appropriate, but rarely considered in genetic algorithms due to the additional cost for estimating the optimal number of components. We introduce two novel fitness measures for genetic algorithms, explicitly designed to estimate the internal prediction performance of partial least squares regression models built from the variable subsets. Both measures estimate the optimal number of components using cross-validation and subsequently estimate the prediction performance by predicting the response of observations not included in model-fitting. This is repeated multiple times to estimate the measures' variations due to different random splits. Moreover, one measure was optimized for speed and more accurate estimation of the prediction performance for observations not included during variable selection. This leads to variable subsets with high internal and external prediction power. Results on high-dimensional chemical-analytical data show that the variable subsets acquired by this approach have competitive internal prediction power and superior external prediction power compared to variable subsets extracted with other fitness measures.

研究动机与目标

• 解决现有化学计量学中遗传算法适应度度量的局限性，这些度量通常依赖普通最小二乘法，且未能考虑多重共线性问题。
• 开发一种适应度评估方法，以准确估计从变量子集中构建的PLS回归模型的内部和外部预测性能。
• 通过引入交叉验证以估计最优PLS成分数和预测误差，提升高维化学分析数据中的变量选择效果。
• 通过优先选择在未见数据上具有良好泛化能力的变量子集，提高QSPR模型的预测鲁棒性。

提出的方法

• 该方法使用重复双重交叉验证（rdCV）及其简化变体——简单重复交叉验证（srCV），作为遗传算法的适应度度量。
• 对于每个变量子集，通过交叉验证估计最优PLS成分数，以最小化在未见数据上的预测误差。
• 通过多次随机数据划分，重复预测未参与模型拟合的观测值响应，以评估预测性能并估计变异性。
• srCV变体通过放宽对测试集大小的限制，提升了计算效率，从而实现更快且准确的外部预测能力估计。
• 适应度度量设计旨在优先选择具有高内部和外部预测精度的模型，而不仅关注模型拟合度。
• 该方法已实现在R包gaselect中，可在CRAN上获取，便于在化学计量学应用中广泛使用。

实验结果

研究问题

• RQ1 与传统的基于R²的准则相比，经过交叉验证的PLS回归模型能否为遗传算法在变量选择中的适应度评估提供更可靠的度量？
• RQ2 使用重复交叉验证来估计PLS成分数，如何影响所选变量子集的预测性能？
• RQ3 与重复双重交叉验证相比，简化交叉验证方法（srCV）是否在显著降低计算时间的同时保持了高精度？
• RQ4 使用所提出的适应度度量所选择的变量子集，在外部预测能力方面，相较于标准方法所选子集的优越程度如何？

主要发现

• srCV适应度度量生成的变量子集在外部预测性能上表现显著更优，在KOC数据集上实现了总RMSEP为0.503，优于Gramatica等人（2011）报告的最佳子集（RMSEP为0.532）。
• 使用所提出的基于交叉验证的适应度度量所选择的变量子集，其外部预测能力（RMSEP_ext. validation）高于使用R²或BIC基准准则所选的子集。
• 与重复双重交叉验证相比，srCV方法将计算时间减少了超过500%，同时保持了高性能估计的准确性。
• 使用新适应度度量所选的模型平均所需PLS成分更少，表明其模型更简单且更具鲁棒性。
• 所有验证标准均高估了模型性能，表现为训练数据上的RMSEP低于验证数据上的RMSEP，证实了进行恰当外部验证的必要性。
• 所提出的方法，特别是srCV，能够识别出具有高度泛化能力的变量子集，适用于存在多重共线性的高维化学计量学数据。