[论文解读] Towards Real-time Customer Experience Prediction for Telecommunication Operators

Ernesto Diaz-Aviles, Fabio Pinelli+8 more|arXiv (Cornell University)|Aug 12, 2015

Customer churn and segmentation参考文献 12被引用 4

一句话总结

本文提出了一种基于受限随机森林模型的实时客户体验预测系统，利用匿名化的移动网络交易数据，通过将呼叫事件作为用户体验不佳的代理指标，预测用户是否会致电客户支持。该方法实现了有前景的预测性能，能够实现问题的主动检测并提升客户服务，具有降低客户流失的潜力。

ABSTRACT

Telecommunications operators (telcos) traditional sources of income, voice and SMS, are shrinking due to customers using over-the-top (OTT) applications such as WhatsApp or Viber. In this challenging environment it is critical for telcos to maintain or grow their market share, by providing users with as good an experience as possible on their network. But the task of extracting customer insights from the vast amounts of data collected by telcos is growing in complexity and scale everey day. How can we measure and predict the quality of a user's experience on a telco network in real-time? That is the problem that we address in this paper. We present an approach to capture, in (near) real-time, the mobile customer experience in order to assess which conditions lead the user to place a call to a telco's customer care center. To this end, we follow a supervised learning approach for prediction and train our 'Restricted Random Forest' model using, as a proxy for bad experience, the observed customer transactions in the telco data feed before the user places a call to a customer care center. We evaluate our approach using a rich dataset provided by a major African telecommunication's company and a novel big data architecture for both the training and scoring of predictive models. Our empirical study shows our solution to be effective at predicting user experience by inferring if a customer will place a call based on his current context. These promising results open new possibilities for improved customer service, which will help telcos to reduce churn rates and improve customer experience, both factors that directly impact their revenue growth.

研究动机与目标

• 利用现有网络数据，实现实时预测电信运营商的客户体验。
• 解决从海量、高速的移动数据流中提取及时客户洞察的挑战。
• 将客户支持呼叫作为用户体验不佳的代理指标，避免依赖调查问卷。
• 开发一种可扩展、可解释的机器学习模型，识别导致用户不满的关键因素。
• 通过在大规模投诉出现前检测潜在问题，支持主动客户关怀。

提出的方法

• 使用网络交易特征（如下载速率、重传率、应用类型、设备型号和一天中的时间）作为输入特征，训练受限随机森林（RRF）模型。
• 在二分类任务中，将客户支持呼叫事件作为正样本标签，将呼叫前的所有交易视为用户体验不佳的信号。
• 采用双轨方法：(I) 使用原始数据流进行事务级别预测，(II) 使用聚合的用户上下文进行用户档案级别预测。
• 利用决策树的可解释性，识别关键绩效指标（KPI）和影响用户体验的应用特定问题。
• 通过一种新型架构在真实电信环境中部署，实现基于大数据的实时评分和模型训练流水线。
• 通过树的多数投票进行最终预测，并分析特征重要性以获得可操作的洞察。

实验结果

研究问题

• RQ1 能否利用网络性能指标和用户上下文来预测用户在未来短期内是否会致电客户支持？
• RQ2 使用呼叫日志作为用户体验不佳代理指标的监督学习方法，在实时场景下的有效性如何？
• RQ3 受限随机森林模型能否在保证高预测性能的同时，为电信运营商提供可解释性？
• RQ4 实时预测在多大程度上能帮助在影响大规模用户群体之前识别网络问题？
• RQ5 不同建模方法（事务级别 vs. 档案级别）在捕捉用户体验动态方面有何差异？

主要发现

• 所提方法成功实现了对客户支持呼叫的有前景预测，证明了实时体验监控的可行性。
• 模型识别出苹果地图重传率异常的问题，该问题与客户支持呼叫激增高度相关，证实了其检测真实网络问题的能力。
• 方法II（使用聚合用户档案）能够检测出应用特定问题，并为根本原因提供可解释的洞察。
• 模型的召回率提升表明对可能致电的用户检测能力增强，但精确率仍较低，表明存在大量误报。
• 将客户支持呼叫作为负面体验代理指标被证明是有效的，因其数据量远超调查反馈，且可为主动干预提供行动依据。
• 未来工作表明，结合事务级别和档案级别预测的混合模型有望进一步提升准确性和时效性。