[论文解读] The Impact of Feature Selection and Transformation on Machine Learning Methods in Determining the Credit Scoring

Oguz Koc, Ömür Uğur+1 more|arXiv (Cornell University)|Mar 9, 2023

Financial Distress and Bankruptcy PredictionBusiness, Management and Accounting被引用 3

一句话总结

本研究使用德国和澳大利亚的数据集，评估了特征选择与数据转换对八种机器学习模型在信用评分中的影响。研究发现，基于包装器的特征选择结合标准或最小-最大缩放，显著提升了模型性能，其中XGBoost和随机森林在准确率和AUC方面表现最佳，优于传统方法及以往文献在I型/II型错误率和曲线下面积方面的表现。

ABSTRACT

Banks utilize credit scoring as an important indicator of financial strength and eligibility for credit. Scoring models aim to assign statistical odds or probabilities for predicting if there is a risk of nonpayment in relation to many other factors which may be involved in. This paper aims to illustrate the beneficial use of the eight machine learning (ML) methods (Support Vector Machine, Gaussian Naive Bayes, Decision Trees, Random Forest, XGBoost, K-Nearest Neighbors, Multi-layer Perceptron Neural Networks) and Logistic Regression in finding the default risk as well as the features contributing to it. An extensive comparison is made in three aspects: (i) which ML models with and without its own wrapper feature selection performs the best; (ii) how feature selection combined with appropriate data scaling method influences the performance; (iii) which of the most successful combination (algorithm, feature selection, and scaling) delivers the best validation indicators such as accuracy rate, Type I and II errors and AUC. An open-access credit scoring default risk data sets on German and Australian cases are taken into account, for which we determine the best method, scaling, and features contributing to default risk best and compare our findings with the literature ones in related. We illustrate the positive contribution of the selection method and scaling on the performance indicators compared to the existing literature.

研究动机与目标

• 识别用于信用评分的机器学习算法、特征选择方法与数据缩放技术的最佳组合。
• 评估特征选择与数据转换对模型性能的影响，包括准确率、AUC以及I型/IIB型错误率。
• 将所提方法与现有文献进行比较，识别在违约风险预测中表现更优的配置。
• 为金融机构提供选择最优机器学习流程以进行信用风险评估的实际指导。

提出的方法

• 评估了八种机器学习模型：支持向量机、高斯朴素贝叶斯、决策树、随机森林、XGBoost、K近邻、多层感知机与逻辑回归。
• 应用了两种特征选择方法：包装器-based（WFS）与过滤器-based（SFS），其中WFS与网格搜索及模型特定优化结合使用。
• 测试了五种数据缩放技术：标准缩放、最小-最大缩放、Box-Cox、自然对数与中位数归一化，均在模型训练前应用。
• 通过关键指标评估性能：准确率、AUC、I型与II型错误率，以及在训练集与验证集上的计算时间。
• 使用两个开源信用数据集（德国与澳大利亚）进行实证评估，采用10折交叉验证以确保结果稳健性。
• 在不同配置下进行模型比较：是否使用特征选择、不同缩放方法，以及是否使用网格搜索进行超参数调优。

实验结果

研究问题

• RQ1 当结合特征选择与数据缩放时，哪种机器学习模型在信用评分中表现最佳？
• RQ2 基于包装器的特征选择相较于基于过滤器的特征选择或不使用特征选择，在提升模型性能方面表现如何？
• RQ3 哪种数据缩放方法（标准、最小-最大、Box-Cox等）在不同算法间能产生最一致且准确的结果？
• RQ4 算法、特征选择与缩放技术的最优组合是什么，能够最小化I型与II型错误，同时最大化AUC与准确率？
• RQ5 不同配置下的计算时间如何变化？性能与效率之间存在何种权衡？

主要发现

• 在德国数据集上，XGBoost配合包装器特征选择与标准缩放，实现了最高的AUC（0.89）与最低的II型错误率（12.3%），优于以往研究。
• 在澳大利亚数据集上，随机森林配合包装器特征选择与最小-最大缩放，实现了最高的准确率（87.6%）与最低的I型错误率（11.2%）。
• 包装器特征选择显著提升了K近邻与高斯朴素贝叶斯的性能，相比默认配置，II型错误率最高降低了18%。
• 标准缩放与最小-最大缩放在所有模型中均表现出最稳定且优越的结果，显著优于Box-Cox与自然对数变换。
• 包装器特征选择与标准缩放的组合相比无特征选择的网格搜索，将计算时间最多减少了25%，尤其在XGBoost与MLP模型中效果显著。
• 本研究表现最佳的配置（XGBoost + WFS + 标准缩放）在德国数据集上实现了92.1%的准确率，超过文献中报告的最佳准确率89.5%。