[论文解读] Predicting Credit Risk for Unsecured Lending: A Machine Learning Approach

Kevin Naik|arXiv (Cornell University)|Oct 5, 2021

Financial Distress and Bankruptcy Prediction参考文献 13被引用 4

一句话总结

本文提出一种基于机器学习的无担保贷款信用风险预测方法，采用轻量化梯度提升机（LGBM）分类器处理类别不平衡的信用卡数据集。在应用SMOTE技术缓解类别不平衡后，LGBM在七种模型中表现最优，准确率达到95.53%，AUC达0.99，展现出在识别信用违约方面的卓越性能。

ABSTRACT

Since the 1990s, there have been significant advances in the technology space and the e-Commerce area, leading to an exponential increase in demand for cashless payment solutions. This has led to increased demand for credit cards, bringing along with it the possibility of higher credit defaults and hence higher delinquency rates, over a period of time. The purpose of this research paper is to build a contemporary credit scoring model to forecast credit defaults for unsecured lending (credit cards), by employing machine learning techniques. As much of the customer payments data available to lenders, for forecasting Credit defaults, is imbalanced (skewed), on account of a limited subset of default instances, this poses a challenge for predictive modelling. In this research, this challenge is addressed by deploying Synthetic Minority Oversampling Technique (SMOTE), a proven technique to iron out such imbalances, from a given dataset. On running the research dataset through seven different machine learning models, the results indicate that the Light Gradient Boosting Machine (LGBM) Classifier model outperforms the other six classification techniques. Thus, our research indicates that the LGBM classifier model is better equipped to deliver higher learning speeds, better efficiencies and manage larger data volumes. We expect that deployment of this model will enable better and timely prediction of credit defaults for decision-makers in commercial lending institutions and banks.

研究动机与目标

• 利用机器学习构建稳健的无担保贷款信用评分模型，以提升违约预测能力。
• 解决信用卡违约数据集中违约样本稀少带来的数据不平衡问题。
• 评估并比较七种机器学习分类器在信用风险预测中的性能表现。
• 识别最适合在商业银行和贷款机构中实时部署的最准确且高效的模型。
• 通过超参数优化提升模型泛化能力与在大规模数据集上的可扩展性。

提出的方法

• 应用合成少数类过采样技术（SMOTE）通过生成少数类的合成样本，对类别不平衡的信用卡违约数据集进行平衡处理。
• 训练并评估七种机器学习分类器：逻辑回归、支持向量机（SVM）、K近邻（KNN）、决策树、随机森林、XGBoost和LGBM。
• 以ROC曲线下面积（AUC）和准确率作为主要评估指标，用于比较各模型性能。
• 通过调整最大深度（max_depth）、基础学习率（learning_rate）和叶子数（num_leaves）对LGBM进行超参数调优，以优化模型效率并减少过拟合。
• 在LGBM中采用叶节点优先的树生长策略，相比层级式方法，显著提升了训练速度与预测精度。
• 对客户个人资料与信用历史数据进行特征工程，以准备模型训练与评估的输入特征。

实验结果

研究问题

• RQ1 在类别不平衡的数据下，哪种机器学习模型在无担保贷款违约预测中表现最佳？
• RQ2 SMOTE在高度偏斜的信用卡违约数据集上是否能有效提升模型性能？
• RQ3 与其它梯度提升及传统分类器相比，LGBM在信用风险预测中的相对表现如何？
• RQ4 LGBM是否能在大规模信用卡数据集上实现高准确率与高效率，同时保持较低的内存占用？
• RQ5 哪些超参数设置能最优地提升LGBM在真实银行应用中信用风险建模的性能？

主要发现

• LGBM分类器取得了95.53%的最高准确率，显著优于所有其他测试模型。
• LGBM的AUC达到0.99，表明其在区分违约与非违约案例方面具有极强的判别能力。
• XGBoost排名第二，准确率为91.96%，AUC接近LGBM，但LGBM在训练速度与内存效率方面表现更优。
• SMOTE技术有效缓解了数据不平衡问题，使模型能更好地学习稀有违约案例。
• 在所评估的模型中，LGBM在速度、准确率与可扩展性之间实现了最佳平衡，适用于大规模信用风险应用。
• 对max_depth、learning_rate与num_leaves的超参数调优进一步提升了LGBM的性能，并有效降低了过拟合风险。