[论文解读] Prediction of motor insurance claims occurrence as an imbalanced machine learning problem

Sebastian Baran, Przemysław Rola|arXiv (Cornell University)|Apr 12, 2022

Imbalanced Data Classification Techniques被引用 6

一句话总结

本研究针对机动车保险索赔预测中的数据不平衡问题，采用多种机器学习模型——逻辑回归、决策树、随机森林、XGBoost 和深度学习——应用于真实世界数据集。在应用 SMOTE 过采样和超参数调优后，XGBoost 和深度学习模型在 AUC（0.6439）和 AUPRC（0.2629）上表现最佳，表明在数据不平衡条件下，集成方法和神经网络模型在罕见事件索赔预测中优于传统模型。

ABSTRACT

The insurance industry, with its large datasets, is a natural place to use big data solutions. However it must be stressed, that significant number of applications for machine learning in insurance industry, like fraud detection or claim prediction, deals with the problem of machine learning on an imbalanced data set. This is due to the fact that frauds or claims are rare events when compared with the entire population of drivers. The problem of imbalanced learning is often hard to overcome. Therefore, the main goal of this work is to present and apply various methods of dealing with an imbalanced dataset in the context of claim occurrence prediction in car insurance. In addition, the above techniques are used to compare the results of machine learning algorithms in the context of claim occurrence prediction in car insurance. Our study covers the following techniques: logistic-regression, decision tree, random forest, xgBoost, feed-forward network. The problem is the classification one.

研究动机与目标

• 为解决机动车保险索赔预测中索赔为罕见事件所导致的数据不平衡问题。
• 评估并比较多种机器学习模型（逻辑回归、决策树、随机森林、XGBoost 和深度学习）在该不平衡分类任务中的性能。
• 评估数据层面（SMOTE）和算法层面（类别权重）技术在提升罕见索赔事件预测性能方面的有效性。
• 识别在真实世界非寿险数据集中预测索赔发生的最稳健和准确的模型。

提出的方法

• 对数据集中少数类（索赔）应用 SMOTE 过采样以实现类别平衡。
• 使用 Sklearn GridSearchCV 和 Keras Tuner Hyperband 对所有模型进行超参数调优。
• 在 XGBoost 和深度学习模型中引入类别权重以应对类别不平衡问题。
• 训练并评估多种模型：逻辑回归、决策树、随机森林、XGBoost 和前馈神经网络。
• 使用标准指标评估模型性能：准确率、F1 分数、精确率、召回率、AUC 和 AUPRC。
• 通过树基模型（XGBoost、随机森林）的特征重要性可视化和混淆矩阵，实现模型可解释性分析。

实验结果

研究问题

• RQ1 在数据不平衡的数据集中，哪种机器学习模型在预测罕见保险索赔事件方面表现最佳？
• RQ2 数据层面（SMOTE）和算法层面（类别权重）技术如何影响索赔预测模型的性能？
• RQ3 超参数调优对不同算法在该不平衡设置下的模型性能有何影响？
• RQ4 在索赔预测背景下，XGBoost 和随机森林等树基模型的特征重要性排序有何差异？

主要发现

• 在超参数调优和类别权重调整后，XGBoost 模型的 F1 分数（0.3549）和 AUC（0.6227）最高，优于其他模型。
• 在 SMOTE 和类别权重处理后，深度学习模型在 AUPRC（0.2629）和 AUC（0.6439）上表现最佳，表明其在罕见事件检测方面具有强大性能。
• 随机森林模型表现稳健，AUC 为 0.6204，AUPRC 为 0.2784，在 AUPRC 中仅次于深度学习模型排名第二。
• 逻辑回归模型表现较差，F1 分数为 0.2421，AUC 为 0.5407，凸显其在严重类别不平衡情况下的局限性。
• SMOTE 和类别权重的使用显著提升了树基模型的召回率和 F1 分数，尤其在检测少数类索赔方面效果明显。
• 特征重要性分析表明，驾驶历史和车辆属性是最重要的预测因子，与精算直觉一致。