[论文解读] Transfer Learning and Meta Classification Based Deep Churn Prediction System for Telecom Industry

Uzair Ahmed, Asifullah Khan+4 more|arXiv (Cornell University)|Jan 18, 2019

Customer churn and segmentation参考文献 22被引用 27

一句话总结

本文提出TL-DeepE，一种基于迁移学习与元分类的深度学习框架，用于电信客户流失预测。该框架在图像化转换的电信数据上微调预训练的卷积神经网络（CNN），将CNN的预测结果与原始特征结合，并采用基于遗传编程与AdaBoost的集成元分类器，最终在Orange数据集上实现了75.4%的准确率与0.83的AUC，优于现有方法。

ABSTRACT

A churn prediction system guides telecom service providers to reduce revenue loss. However, the development of a churn prediction system for a telecom industry is a challenging task, mainly due to the large size of the data, high dimensional features, and imbalanced distribution of the data. In this paper, we present a solution to the inherent problems of churn prediction, using the concept of Transfer Learning (TL) and Ensemble-based Meta-Classification. The proposed method TL-DeepE is applied in two stages. The first stage employs TL by fine-tuning multiple pre-trained Deep Convolution Neural Networks (CNNs). Telecom datasets are normally in vector form, which is converted into 2D images because Deep CNNs have high learning capacity on images. In the second stage, predictions from these Deep CNNs are appended to the original feature vector and thus are used to build a final feature vector for the high-level Genetic Programming (GP) and AdaBoost based ensemble classifier. Thus, the experiments are conducted using various CNNs as base classifiers and the GP-AdaBoost as a meta-classifier. By using 10-fold cross-validation, the performance of the proposed TL-DeepE system is compared with existing techniques, for two standard telecommunication datasets; Orange and Cell2cell. Performing experiments on Orange and Cell2cell datasets, the prediction accuracy obtained was 75.4% and 68.2%, while the area under the curve was 0.83 and 0.74, respectively.

研究动机与目标

• 解决电信数据集中高维、类别不平衡与大规模带来的挑战。
• 通过在图像化转换数据上利用预训练CNN的迁移学习能力，提升预测准确率。
• 通过集成元分类器结合多个CNN的预测结果，增强模型泛化能力。
• 通过混合深度学习与元学习框架，在标准电信数据集上超越现有方法。

提出的方法

• 将向量化的电信数据集转换为二维图像表示，以利用卷积神经网络（CNN）的高维特征学习能力。
• 在图像化转换的数据上，采用迁移学习设置对多个预训练CNN（如VGG、ResNet）进行微调。
• 从微调后CNN的最后几层提取深度特征，并将其与原始特征向量拼接，形成增强的特征表示。
• 在组合特征集上使用遗传编程（GP）与AdaBoost训练高层元分类器，以提升最终预测性能。
• 采用10折交叉验证，在两个基准数据集（Orange与Cell2cell）上评估系统性能。
• 通过元分类整合多种基础分类器（CNN）的预测结果，降低方差并提升鲁棒性。

实验结果

研究问题

• RQ1 在电信数据集上，使用预训练CNN的迁移学习是否能提升客户流失预测性能？
• RQ2 将深度CNN预测结果与原始特征结合，是否能有效提升模型准确率？
• RQ3 通过元分类器整合多个CNN预测结果的方法，是否优于单个模型或标准集成方法？
• RQ4 在类别不平衡的电信数据集上，TL-DeepE框架相较于现有方法表现如何？

主要发现

• TL-DeepE系统在Orange数据集上实现了75.4%的预测准确率，显著优于基线方法。
• 在Cell2cell数据集上，系统实现了68.2%的预测准确率，表明其在不同数据分布下具有良好的鲁棒性。
• 在Orange数据集上，受试者工作特征曲线下面积（AUC）达到0.83，在Cell2cell数据集上为0.74，表明模型具备优异的判别能力。
• 在图像化转换数据上使用微调CNN的迁移学习，有效增强了特征表示并提升了模型泛化能力。
• 集成元分类器（GP-AdaBoost）成功结合了多个基础CNN的预测结果，显著提升了整体鲁棒性与准确率。