[论文解读] Predicting Future Sales of Retail Products using Machine Learning

Devendra Swami, Alay Shah+1 more|arXiv (Cornell University)|Aug 18, 2020

Forecasting Techniques and Applications参考文献 4被引用 14

一句话总结

本论文使用来自1C公司的大规模俄罗斯时间序列数据集，评估了XGBoost、LSTM和ARIMA在零售销售预测中的表现。XGBoost表现最优，测试RMSE为0.878，归因于有效的特征工程以及对数据集中稀疏数据模式的优越处理能力。

ABSTRACT

Techniques for making future predictions based upon the present and past data, has always been an area with direct application to various real life problems. We are discussing a similar problem in this paper. The problem statement is provided by Kaggle, which also serves as an ongoing competition on the Kaggle platform. In this project, we worked with a challenging time-series dataset consisting of daily sales data, kindly provided by one of the largest Russian software firms - 1C Company. The objective is to predict the total sales for every product and store in the next month given the past data. In order to perform forecasting for next month, we have deployed eXtreme Gradient Boosting (XGBoost) and Long Short Term Memory (LSTM) based network architecture to perform learning task. Root mean squared error (RMSE) between the actual and predicted target values is used to evaluate the performance, and make comparisons between the deployed algorithms. It has been found that XGBoost fared better than LSTM over this dataset which can be attributed to its relatively higher sparsity.

研究动机与目标

• 使用历史销售数据预测每个商品-店铺组合的月度销售额。
• 比较XGBoost、LSTM和ARIMA模型在真实世界零售时间序列数据集上的表现。
• 评估特征工程（特别是滞后特征和类别编码）对模型性能的影响。
• 使用F-score重要性识别XGBoost模型中最关键的特征。
• 探索在稀疏、高维的零售数据上使用深度学习（LSTM）和传统统计模型（ARIMA）的可行性。

提出的方法

• 在验证集上通过网格搜索对验证集进行超参数调优，应用XGBoost模型，结合滞后特征和类别编码。
• 实现了一种定制化的LSTM架构，联合处理静态特征（如item_id、shop_id）和动态特征（如item_count、price）在时间步上的变化。
• 对每个唯一的商品-店铺组合分别拟合ARIMA模型，用于单变量预测。
• 在训练集、验证集和测试集上均采用RMSE作为主要评估指标。
• 进行了广泛的探索性数据分析（EDA）和数据清洗，包括对目标值进行截断处理和缺失数据处理。
• 通过随机网格搜索对XGBoost和LSTM的超参数进行调优，重点关注初始学习率、树深、正则化和批量大小。

实验结果

研究问题

• RQ1 XGBoost是否在稀疏零售销售数据预测中优于深度学习（LSTM）和经典统计模型（ARIMA）？
• RQ2 滞后特征和类别编码在时间序列销售预测中的模型性能中起到何种影响？
• RQ3 F-score衡量的特征重要性在多大程度上反映了XGBoost中输入变量的预测能力？
• RQ4 定制化的LSTM架构是否能有效建模零售销售场景中的静态与动态特征？
• RQ5 超参数调优在不同模型中对实现最优性能起到何种作用？

主要发现

• XGBoost的测试RMSE最低，为0.878，优于LSTM（0.924）和ARIMA（1.093）。
• XGBoost模型在训练集和验证集上的RMSE差异较小（0.764 vs. 0.807），表明其泛化能力稳定。
• 滞后目标特征（如target_item_lag_1）是最重要的预测因子，F-score高达3034。
• XGBoost中最重要的五个特征依次为：item_id（4168）、target_item_lag_1（3034）、enc_shop_id_category（2845）、item_category（2738）和date_block_num（2515）。
• LSTM需要更严格的超参数调优，尽管进行了架构定制，但在该数据集上仍表现不如XGBoost。
• ARIMA在三者中表现最差，测试RMSE为1.093，表明其在处理多变量、稀疏的零售数据方面存在局限性。