[论文解读] Profit-oriented sales forecasting: a comparison of forecasting techniques from a business perspective

Tine Van Calster, Filip Van den Bossche+2 more|arXiv (Cornell University)|Feb 3, 2020

Forecasting Techniques and Applications被引用 4

一句话总结

本文提出了一种以利润为导向的自动化战术销售预测框架，该框架不仅根据预测准确性，还根据其预期业务利润来评估预测技术。该研究基于35个每月时间序列对统计模型、机器学习模型和单变量模型进行了基准测试，发现简单的时间序列模型在利润和准确性方面始终优于复杂方法，而外部变量尽管维护成本更高，却几乎未带来额外价值。

ABSTRACT

Choosing the technique that is the best at forecasting your data, is a problem that arises in any forecasting application. Decades of research have resulted into an enormous amount of forecasting methods that stem from statistics, econometrics and machine learning (ML), which leads to a very difficult and elaborate choice to make in any forecasting exercise. This paper aims to facilitate this process for high-level tactical sales forecasts by comparing a large array of techniques for 35 times series that consist of both industry data from the Coca-Cola Company and publicly available datasets. However, instead of solely focusing on the accuracy of the resulting forecasts, this paper introduces a novel and completely automated profit-driven approach that takes into account the expected profit that a technique can create during both the model building and evaluation process. The expected profit function that is used for this purpose, is easy to understand and adaptable to any situation by combining forecasting accuracy with business expertise. Furthermore, we examine the added value of ML techniques, the inclusion of external factors and the use of seasonal models in order to ascertain which type of model works best in tactical sales forecasting. Our findings show that simple seasonal time series models consistently outperform other methodologies and that the profit-driven approach can lead to selecting a different forecasting model.

研究动机与目标

• 为解决在高层级战术销售预测中选择最优预测技术的挑战，其中业务影响超越了统计准确性。
• 将实用且自动化的利润函数整合到模型选择与评估中，使预测选择与实际业务成果保持一致。
• 在真实销售环境中评估统计模型、机器学习技术以及包含外部因素的模型的相对表现。
• 确定复杂模型（如机器学习）还是更简单的季节性模型在销售预测中能带来更高的预期利润。
• 在考虑准确性和长期维护成本的前提下，评估在单变量预测模型中引入外部变量的价值。

提出的方法

• 提出一种新颖的预期利润函数，通过将预测准确性与每种产品的预设利润率相结合，量化预测误差的财务影响。
• 将利润函数嵌入模型训练与评估过程中，实现自动选择能最大化预期利润的模型。
• 在35个每月时间序列上开展全面基准测试，包括可口可乐公司的真实销售数据和公开数据集。
• 将模型分为三类：单变量季节性模型（如季节性ARIMA、ETS）、非季节性模型以及机器学习模型（如XGBoost、神经网络）。
• 在部分模型中引入外部因素（如ARIMAX、带外生变量的XGBoost），其余模型保持单变量。
• 使用传统准确性指标（如MAE、RMSE）和利润驱动指标对性能进行评估，模型选择以预期利润为导向。

实验结果

研究问题

• RQ1 当在评估过程中显式建模利润时，哪种预测技术在战术销售预测中能带来最高的预期利润？
• RQ2 在高层级销售预测中，机器学习技术是否在准确性和利润方面均优于传统统计模型？
• RQ3 考虑到模型复杂度和维护成本的增加，在单变量销售预测中引入外部因素是否合理？
• RQ4 季节性模型与非季节性模型在月度销售数据的预测准确性与利润生成方面有何差异？
• RQ5 纯粹自动化的、以利润为导向的模型选择过程是否能在实际销售预测应用中超越基于准确性的标准基准？

主要发现

• 简单季节性时间序列模型（如季节性ARIMA和ETS）在预测准确性和预期利润方面始终优于其他所有技术。
• 尽管机器学习模型广受欢迎，但在准确性和利润方面均显著劣于传统模型，与某些先前研究结果相矛盾。
• 引入外部变量并未提升预测性能或利润生成能力，反而增加了模型维护成本，表明其在战术销售预测中附加值有限。
• 季节性ARIMAX模型的表现与更简单的单变量季节性模型相当，但无法证明其复杂性和数据需求的合理性。
• 以利润为导向的评估框架成功识别出与传统基于准确性的基准不同的最优模型，证明了其实际相关性。
• 由于在性能、可解释性和计算效率方面的优势，推荐在战术销售预测中使用单变量季节性模型。