[论文解读] Performing Highly Accurate Predictions Through Convolutional Networks for Actual Telecommunication Challenges

Jaime Zaratiegui, Ana Montoro+1 more|arXiv (Cornell University)|Nov 16, 2015

Customer churn and segmentation参考文献 21被引用 10

一句话总结

本文提出WiseNet，一种卷积神经网络，将电信客户数据（如通话详单记录和充值历史）编码为类似图像的表示，以预测客户流失。通过在这些转换为空间网格的结构化数据上进行训练，WiseNet在无需微调的情况下，超越了依赖手工特征的传统机器学习模型，并在不同市场间实现良好泛化，展现出更优的特征学习能力并显著减少人工特征工程的需求。

ABSTRACT

We investigated how the application of deep learning, specifically the use of convolutional networks trained with GPUs, can help to build better predictive models in telecommunication business environments, and fill this gap. In particular, we focus on the non-trivial problem of predicting customer churn in telecommunication operators. Our model, called WiseNet, consists of a convolutional network and a novel encoding method that transforms customer activity data and Call Detail Records (CDRs) into images. Experimental evaluation with several machine learning classifiers supports the ability of WiseNet for learning features when using structured input data. For this type of telecommunication business problems, we found that WiseNet outperforms machine learning models with hand-crafted features, and does not require the labor-intensive step of feature engineering. Furthermore, the same model has been applied without retraining to a different market, achieving consistent results. This confirms the generalization property of WiseNet and the ability to extract useful representations.

研究动机与目标

• 为解决预付费电信客户流失预测的挑战，此类客户无固定合同到期日，且在流失前表现出细微的行为变化。
• 探究卷积神经网络（CNN）是否可通过将数据转换为图像表示，有效从结构化时间序列电信数据中学习。
• 通过一种新颖的数据编码方法，实现端到端学习，消除繁琐的手工特征工程过程。
• 评估所提出模型在不同市场间无需微调的泛化能力。

提出的方法

• 将客户行为数据（包括通话详单记录（CDRs）和充值事件）通过线性映射时间至x轴、数据类型（主叫、被叫、充值）至y轴，编码为2D图像。
• 该编码方法将结构化时间序列数据转换为保留时间与类别关系的空间网格，使CNN能够学习分层模式。
• 使用GPU加速深度学习，在这些图像表示上训练了定制的卷积神经网络架构（WiseNet），以将客户分类为流失者或非流失者。
• 模型利用早期卷积层中学习到的滤波器检测通话与充值活动的局部模式，随后通过全连接层进行最终预测。
• 对最终隐藏层激活使用t-SNE降维，以可视化和分析学习到的表示及其与流失概率的相关性。
• 在未重新训练的情况下，将同一训练好的模型应用于另一市场，验证其泛化能力与迁移学习性能。

实验结果

研究问题

• RQ1 当结构化时间序列电信数据被转换为类似图像的表示时，卷积神经网络是否能有效学习？
• RQ2 WiseNet在预测预付费电信服务客户流失方面，是否优于依赖手工特征的传统机器学习模型？
• RQ3 单一训练好的CNN模型在无需微调的情况下，能在多大程度上泛化到不同市场，体现其鲁棒的特征学习与可迁移性？
• RQ4 WiseNet学习到的潜在表示是什么类型？它们与流失概率及行为模式有何关联？

主要发现

• WiseNet在预测准确率上优于基于手工特征的传统机器学习模型，证明了端到端深度学习在结构化数据上的优越性。
• 该模型成功从结构化数据中学习到有意义的表示，而无需人工特征工程，显著降低了模型开发的人力投入。
• t-SNE可视化显示，流失概率在最大用户簇中呈现平滑分布，表明行为变化为定量而非定性变化。
• 在低流失概率区域中观察到一个明显且孤立的簇（d），其流失概率较高，提示可能存在异常或新型行为模式，需进一步研究。
• 同一模型架构、权重与超参数在未重新训练的情况下，有效泛化到另一市场，证实了其强大的迁移学习与泛化特性。
• 学习到的表示除主要簇外无其他孤立的低流失簇，表明客户留存可能由单一主要驱动因素主导，可能与服务必要性有关。