[论文解读] Predicting Customer Churn: Extreme Gradient Boosting with Temporal Data

Bryan Gregory|ArXiv.org|Feb 9, 2018

Customer churn and segmentation被引用 15

一句话总结

本文提出了一种新颖的时间特征工程方法，利用极端梯度提升（XGBoost）从大规模时间序列数据中预测客户流失。通过有效处理时间依赖关系并构建滞后特征与滚动窗口特征，该模型在WSDM Cup 2018流失挑战赛中获得第一名，击败了574支其他队伍，预测准确率极高。

ABSTRACT

Accurately predicting customer churn using large scale time-series data is a common problem facing many business domains. The creation of model features across various time windows for training and testing can be particularly challenging due to temporal issues common to time-series data. In this paper, we will explore the application of extreme gradient boosting (XGBoost) on a customer dataset with a wide-variety of temporal features in order to create a highly-accurate customer churn model. In particular, we describe an effective method for handling temporally sensitive feature engineering. The proposed model was submitted in the WSDM Cup 2018 Churn Challenge and achieved first-place out of 575 teams.

研究动机与目标

• 通过利用大规模时间序列客户数据中的时间模式，提升客户流失预测的准确性。
• 解决时间序列数据中特征工程的挑战，特别是时间泄漏和依赖性问题。
• 开发一种稳健且可扩展的方法，用于为监督学习模型生成有意义的时间特征。
• 在真实世界流失预测竞赛中，通过多样化的时间特征实现最先进性能。
• 展示XGBoost在建模客户行为预测中复杂时间动态方面的有效性。

提出的方法

• 该方法采用极端梯度提升（XGBoost）作为基学习器，用于客户流失的二分类任务。
• 通过滞后特征、滚动窗口统计量（例如均值、标准差）以及在多个时间区间上的基于时间的聚合，进行时间特征工程。
• 特征工程设计周密，通过确保训练过程中不使用未来信息，防止数据泄漏。
• 模型在从历史客户活动日志中提取的广泛特征集上进行训练，时间窗口动态调整以捕捉相关的行为趋势。
• 通过时间分割的交叉验证进行超参数调优，以确保模型能泛化到未来数据。
• 该方法充分利用了XGBoost在高维时间特征空间中处理非线性关系和特征交互的能力。

实验结果

研究问题

• RQ1 如何有效进行时间特征工程，以提升时间序列客户数据中的流失预测性能？
• RQ2 XGBoost是否能在时间序列数据上超越其他树基模型和传统机器学习模型，在客户流失预测中表现更优？
• RQ3 精心设计的时间特征构建对模型泛化能力及避免数据泄漏有何影响？
• RQ4 在真实世界流失预测环境中，包含多个时间窗口特征如何影响模型性能？
• RQ5 在竞争性环境中，使用XGBoost结合全面的时间特征工程，可实现怎样的预测性能水平？

主要发现

• 所提出的XGBoost模型在WSDM Cup 2018流失挑战赛中获得第一名，击败了574支其他队伍。
• 该模型表现出高预测准确率，其性能因引入了滚动均值、滞后值等时间工程特征而显著提升。
• 正确的时间特征工程——尤其是避免数据泄漏——是实现在未见未来数据上泛化的关键。
• 使用多个时间窗口进行特征聚合，使模型能够捕捉短期和长期的客户行为模式。
• XGBoost有效建模了时间特征之间的复杂非线性交互，相比基线模型表现出更优性能。
• 该解决方案在大规模、真实世界客户交易数据上表现出稳健性和可扩展性，且时间粒度较高。