[论文解读] Multivariate Arrival Times with Recurrent Neural Networks for Personalized Demand Forecasting

Tianle Chen, Brian Keng+1 more|arXiv (Cornell University)|Dec 29, 2018

Forecasting Techniques and Applications参考文献 21被引用 3

一句话总结

本文提出 MAT-RNN，一种新颖的循环神经网络模型，通过在负对数似然损失下建模购买间隔时间的分布参数，联合预测个性化需求的多变量到达时间间隔，从而有效处理右删失和部分观测数据。该方法在多个产品类别中实现了 SOTA 的 ROC-AUC 表现，单个 SKU 的性能提升最高达 +0.1098。

ABSTRACT

Access to a large variety of data across a massive population has made it possible to predict customer purchase patterns and responses to marketing campaigns. In particular, accurate demand forecasts for popular products with frequent repeat purchases are essential since these products are one of the main drivers of profits. However, buyer purchase patterns are extremely diverse and sparse on a per-product level due to population heterogeneity as well as dependence in purchase patterns across product categories. Traditional methods in survival analysis have proven effective in dealing with censored data by assuming parametric distributions on inter-arrival times. Distributional parameters are then fitted, typically in a regression framework. On the other hand, neural-network based models take a non-parametric approach to learn relations from a larger functional class. However, the lack of distributional assumptions make it difficult to model partially observed data. In this paper, we model directly the inter-arrival times as well as the partially observed information at each time step in a survival-based approach using Recurrent Neural Networks (RNN) to model purchase times jointly over several products. Instead of predicting a point estimate for inter-arrival times, the RNN outputs parameters that define a distributional estimate. The loss function is the negative log-likelihood of these parameters given partially observed data. This approach allows one to leverage both fully observed data as well as partial information. By externalizing the censoring problem through a log-likelihood loss function, we show that substantial improvements over state-of-the-art machine learning methods can be achieved. We present experimental results based on two open datasets as well as a study on a real dataset from a large retailer.

研究动机与目标

• 解决个性化需求预测中产品间高度异质且稀疏的客户购买模式挑战。
• 克服传统生存模型依赖参数假设和线性协变量的局限性。
• 将深度学习的灵活性与生存分析的统计严谨性相结合，用于处理部分观测的序列购买数据。
• 实现对多个产品之间隔时间的联合建模，同时利用完全观测和删失数据。
• 通过使用 RNN 建模到达时间的分布估计，提升未来购买预测的准确性。

提出的方法

• 该模型采用编码器-解码器结构的 RNN 架构，用于在每个时间步预测威布尔分布的参数。
• 在每个时间步，模型基于历史购买序列输出下一次购买前时间间隔的分布参数（尺度和形状）。
• 损失函数为观测到的或删失的到达时间间隔的负对数似然，支持在部分观测数据上进行端到端训练。
• 通过计算不完整到达时间间隔的条件生存概率和密度，显式处理删失数据。
• 通过似然最大化将删失外部化，使 RNN 能够在不假设潜在风险函数参数形式的前提下学习复杂的时间依赖关系。
• 采用基于似然的目标函数联合训练完整和不完整观测样本，提升在稀疏数据上的泛化能力。

实验结果

研究问题

• RQ1 深度学习模型能否在有效建模删失和部分观测数据的同时，联合预测多个产品的到达时间间隔？
• RQ2 通过 RNN 建模到达时间间隔的分布参数，是否能优于点估计回归或标准 RNN 在生存预测中的表现？
• RQ3 与单个产品建模相比，多个产品联合建模在预测性能和参数效率方面表现如何？
• RQ4 与标准平方误差损失相比，基于似然的训练目标在稀疏的真实零售数据上能多大程度提升性能？
• RQ5 将生存分析原理与 RNN 相结合，能否在多样化产品类别中显著提升下一次购买预测的 ROC-AUC 表现？

主要发现

• MAT-RNN 在 ROC-AUC 上优于 SOTA 机器学习方法，单个产品 SKU 的性能提升范围为 +0.0029 至 +0.1098。
• 在真实零售商数据集的 5 个产品类别中，该模型在 4 个类别中表现更优，对高影响力 SKU 的 AUC 提升显著。
• 对多个产品进行联合建模始终优于单产品模型，即使参数更少。
• 在基准数据集和合成数据集上，该模型表现与传统生存模型及使用平方误差损失训练的标准 RNN 相当或更优。
• 使用负对数似然损失可有效利用完整和删失观测数据，使模型在稀疏数据上表现稳健。
• 该模型在目标广告场景中展现出强大的可扩展潜力，但因内存和 ETL 约束，全库存范围扩展仍是未来挑战。