[论文解读] Quantum-Assisted Feature Selection for Vehicle Price Prediction Modeling

David Von Dollen, Florian Neukart+2 more|arXiv (Cornell University)|Apr 8, 2021

Energy, Environment, and Transportation Policies参考文献 26被引用 6

一句话总结

本文提出了一种基于量子辅助的特征选择方法，用于车辆价格预测，采用二元二次优化以识别最优特征子集。通过将皮尔逊相关系数（PCC）等相关性度量编码至量子退火框架中，该方法降低了输入维度并提升了模型性能，在真实世界数据上实现了1471.02 ± 135.6的平均绝对误差，优于递归特征消除等经典基准方法（1678.3 ± 143.7）。

ABSTRACT

Within machine learning model evaluation regimes, feature selection is a technique to reduce model complexity and improve model performance in regards to generalization, model fit, and accuracy of prediction. However, the search over the space of features to find the subset of $k$ optimal features is a known NP-Hard problem. In this work, we study metrics for encoding the combinatorial search as a binary quadratic model, such as Generalized Mean Information Coefficient and Pearson Correlation Coefficient in application to the underlying regression problem of price prediction. We investigate trade-offs in the form of run-times and model performance, of leveraging quantum-assisted vs. classical subroutines for the combinatorial search, using minimum redundancy maximal relevancy as the heuristic for our approach. We achieve accuracy scores of 0.9 (in the range of [0,1]) for finding optimal subsets on synthetic data using a new metric that we define. We test and cross-validate predictive models on a real-world problem of price prediction, and show a performance improvement of mean absolute error scores for our quantum-assisted method $(1471.02 \pm{135.6})$, vs. similar methodologies such as recursive feature elimination $(1678.3 \pm{143.7})$. Our findings show that by leveraging quantum-assisted routines we find solutions that increase the quality of predictive model output while reducing the input dimensionality to the learning algorithm on synthetic and real-world data.

研究动机与目标

• 解决机器学习流程中特征选择的NP难组合优化挑战。
• 评估量子辅助方法与经典特征选择方法在运行时间和预测准确性方面的表现。
• 研究不同相关性度量（PCC、MIC、GMIC）在将特征选择问题建模为二元二次模型时的有效性。
• 在合成数据（Friedman 1）和真实世界数据（UCI Auto）上验证该方法在车辆价格预测中的适用性。
• 证明量子辅助特征选择可实现优于经典基线的模型性能与更低的误差率。

提出的方法

• 使用皮尔逊相关系数（PCC）、最大信息系数（MIC）和广义均值信息系数（GMIC）等度量，将特征选择问题建模为二元二次优化模型（QUBO）。
• 应用最大相关性最小冗余（MRMR）启发式方法，以平衡特征与目标变量的相关性以及特征对之间的低相关性。
• 利用量子退火器（D-Wave）求解QUBO模型，相较于经典方法更高效地探索组合特征空间。
• 采用多种学习算法（线性回归与梯度提升回归树（GBR））评估所选特征子集的预测性能。
• 通过交叉验证及平均绝对误差（MAE）和子集准确率等指标，比较量子辅助与经典特征选择方法的性能。
• 调整超参数α和λ以优化子集大小k，未来工作可考虑通过贝叶斯优化实现自动化调优。

实验结果

研究问题

• RQ1 在车辆价格预测中，量子辅助优化是否能在预测准确性与模型泛化能力方面优于经典特征选择方法？
• RQ2 在QUBO建模中，不同相关性度量（PCC、MIC、GMIC）在编码特征相关性与冗余性方面的能力如何比较？
• RQ3 使用量子退火与经典CPU计算方法相比，在运行时间效率与模型性能之间存在何种权衡？
• RQ4 量子辅助方法是否能发现优于经典基线的最优特征子集大小（k），从而提升模型性能？
• RQ5 量子特征选择能否通过在降低维度的同时保留原始特征空间，增强模型的可解释性？

主要发现

• 在Friedman 1合成数据集上，采用PCC的量子辅助方法在k = 5时实现了最低的MAE（2.27 ± 0.12）。
• 在真实世界UCI Auto数据集上，QPCC-GBR方法实现了1471.02 ± 135.6的MAE，优于递归特征消除方法（1678.3 ± 143.7）。
• 量子辅助方法在合成数据上实现了0.9的子集准确率，表明其在识别最优特征子集方面具有高精度。
• 量子退火的运行时间保持恒定（约2000 μs），与问题规模无关，而经典方法的运行时间随输入规模增加而上升（35,000–50,000 μs）。
• 尽管PCC表现最佳，但MIC与GMIC在某些数据集上也表现出相近性能，表明其具有更广泛的应用潜力。
• 该方法成功降低了输入维度，同时提升了模型性能，证明了量子辅助特征选择在真实世界回归任务中的潜力。