[论文解读] Understanding Player Engagement and In-Game Purchasing Behavior with Ensemble Learning

Anna Guitart, Ana Fernández del Río+1 more|arXiv (Cornell University)|Jul 9, 2019

Sports Analytics and Performance参考文献 14被引用 6

一句话总结

本研究提出了一种新颖的玩家分类框架，通过集成学习方法提升免费游玩在线游戏中的流失预测与购买流失预测的准确性。通过排除‘僵尸玩家’（极度不活跃的玩家）和‘复活玩家’（长期不活跃后回归的玩家），作者在分类模型与生存模型中均显著提升了预测准确性，其中在登录流失预测中同时排除这两类玩家效果最佳，而在购买流失预测中则排除僵尸玩家与‘购买复活玩家’效果最优。

ABSTRACT

As video games attract more and more players, the major challenge for game studios is to retain them. We present a deep behavioral analysis of churn (game abandonment) and what we called "purchase churn" (the transition from paying to non-paying user). A series of churning behavior profiles are identified, which allows a classification of churners in terms of whether they eventually return to the game (false churners)--or start purchasing again (false purchase churners)--and their subsequent behavior. The impact of excluding some or all of these churners from the training sample is then explored in several churn and purchase churn prediction models. Our results suggest that discarding certain combinations of "zombies" (players whose activity is extremely sporadic) and false churners has a significant positive impact in all models considered.

研究动机与目标

• 为解决由于流失定义模糊导致的免费游玩在线游戏中流失预测不准确的问题。
• 基于玩家流失后的行为表现，将玩家划分为不同的行为类型——虚假流失者、复活玩家、僵尸玩家以及购买复活用户。
• 评估从训练数据中排除特定玩家类型对流失预测与购买流失预测性能的影响。
• 比较分类模型与生存分析方法在预测玩家流失方面的有效性。
• 开发一种更准确且在实际运营中更具实用价值的流失预测模型框架，用于游戏分析。

提出的方法

• 本研究使用某款免费游玩在线游戏的真实数据集，基于连续不活跃天数定义登录流失，基于无消费行为定义购买流失。
• 将玩家根据行为特征划分为四类：虚假流失者（在不活跃后返回）、复活玩家（长期不活跃后返回）、僵尸玩家（活动极不规律）、购买复活用户（在长期缺席后重新开始消费）。
• 采用二元分类与生存分析两种方法训练集成学习模型，以预测登录流失与购买流失。
• 系统评估从训练集中排除特定玩家群体（僵尸玩家、复活玩家、购买复活用户）的影响，使用 IBS（综合Brier评分）与错误率等性能指标进行衡量。
• 生存模型更优，因其能处理右删失数据并提供事件发生时间的预测，更适合流失分析。
• 在关键玩家特征（生命周期、等级、游戏时长）上评估模型性能，结果按行为群体与模型类型进行分析。

实验结果

研究问题

• RQ1 排除不同类型的玩家（僵尸玩家、复活玩家、购买复活用户）对登录流失预测模型准确率有何影响？
• RQ2 在预测在线游戏玩家流失时，分类方法与生存分析方法的性能表现如何比较？
• RQ3 排除‘虚假流失者’与‘复活玩家’是否能带来更稳健且更准确的流失预测模型？
• RQ4 对‘购买复活用户’进行更精细的定义，能否提升购买流失预测的准确率？
• RQ5 从训练集中排除哪些玩家群体的最优组合，可使不同玩家行为类型下的预测性能达到最大化？

主要发现

• 从训练集中排除僵尸玩家与复活玩家，可在登录流失预测中实现最高整体准确率，尤其在低至中等生命周期、等级与游戏时长的玩家中，错误率显著降低。
• 生存分析方法在流失预测中优于二元分类模型，因其能有效处理删失数据并提供事件发生时间的估计。
• 排除购买复活用户可提升高等级与高游戏时长玩家的预测准确率，但整体性能因损失关键行为信号而下降。
• 在购买流失预测中，最佳整体结果来自同时排除僵尸玩家与购买复活用户，而额外排除复活玩家的影响极小。
• 训练数据中包含‘僵尸玩家’会显著降低模型性能，表明其在流失预测任务中充当噪声。
• 本研究证明，排除特定行为群体可提升模型准确率并减小数据集规模，为游戏工作室带来实际运营优势。