[论文解读] Two-stage Cascaded Classifier for Purchase Prediction

Sheikh Muhammad Sarwar, Mahamudul Hasan+1 more|arXiv (Cornell University)|Aug 16, 2015

Customer churn and segmentation被引用 5

一句话总结

本文提出一种用于电商购买预测的两阶段级联分类器，采用Adaboost.M1处理购买会话检测中的类别不平衡问题，并使用随机森林进行商品预测。通过优化特征选择并处理解决方案大小的约束，该方法在挑战赛中获得了45,027分的成绩。

ABSTRACT

In this paper we describe our machine learning solution for the RecSys Challenge, 2015. We have proposed a time efficient two-stage cascaded classifier for the prediction of buy sessions and purchased items within such sessions. Based on the model, several interesting features found, and formation of our own test bed, we have achieved a reasonable score. Usage of Random Forests helps us to cope with the effect of the multiplicity of good models depending on varying subsets of features in the purchased items prediction and, in its turn, boosting is used as a suitable technique to overcome severe class imbalance of the buy-session prediction.

研究动机与目标

• 解决电商点击流数据中严重的类别不平衡问题，其中仅有5%的会话产生购买行为。
• 开发一种可扩展且高效的两阶段模型，用于预测购买会话及具体购买商品。
• 优化特征选择，在模型性能与25MB解决方案文件大小限制之间取得平衡。
• 利用集成学习技术提升会话级和商品级分类的预测准确性。
• 构建一个可靠的测试平台，以近似真实挑战赛表现并指导模型调优。

提出的方法

• 使用Weka框架中的Adaboost.M1对会话进行分类，判断其为购买或非购买会话，利用其对类别不平衡的鲁棒性。
• 采用级联架构：首先通过Adaboost.M1识别潜在的购买会话，然后使用随机森林预测具体商品。
• 提取15个会话级特征，包括点击次数、商品频率、持续时间、一天中的时间以及平均点击-购买比率。
• 应用重采样技术以缓解购买会话预测任务中的类别不平衡问题。
• 优化特征子集，以减小模型大小并提升在25MB限制下的解决方案文件合规性。
• 在自建测试平台上验证结果，以模拟挑战赛条件并指导超参数调优。

实验结果

研究问题

• RQ1 两阶段级联分类器如何有效应对电商点击流数据中极端的类别不平衡问题？
• RQ2 在存储约束下，哪些会话级特征组合能实现最高的预测性能？
• RQ3 与其它监督学习模型相比，使用Adaboost.M1在购买会话检测中的表现提升程度如何？
• RQ4 自建测试平台能否准确预测真实挑战赛的表现，以用于模型评估与调优？
• RQ5 在RecSys Challenge 2015中，特征选择如何影响模型准确率与解决方案文件大小之间的权衡？

主要发现

• 两阶段级联分类器在最终挑战赛中获得了45,027分，占测试集中最大可能得分的37%。
• 使用选定特征的Adaboost.M1在测试平台上的得分为106,508.4，与真实挑战赛表现高度接近。
• 排除基于时间的和聚合特征后，精确率提高且解决方案大小减小，尽管召回率略有下降。
• 包含所有特征的模型得分更高（107,764），但超过了25MB的解决方案文件限制，因此无法提交。
• 随机森林在处理商品预测中大量优质特征子集方面表现良好，确保了在不同特征组合下的鲁棒性。
• 自建测试平台与真实挑战赛结果表现出强相关性，使得模型调优与评估更加可靠。