[论文解读] Well Googled is Half Done: Multimodal Forecasting of New Fashion Product Sales with Image-based Google Trends

Geri Skenderi, Christian Joppi+2 more|arXiv (Cornell University)|Sep 20, 2021

Forecasting Techniques and Applications参考文献 44被引用 9

一句话总结

本文提出 GTM-Transformer，一种非自回归 Transformer 模型，通过融合图像特征、产品元数据以及基于图像的 Google Trends 作为外生信号，预测新时尚产品的销量。该模型在新发布的 VISUELLE 数据集上实现了最先进性能，通过有效整合流行趋势，特别是在产品发布前 7–10 个月的时间窗口内，将 WAPE 降低 1.5%。

ABSTRACT

New fashion product sales forecasting is a challenging problem that involves many business dynamics and cannot be solved by classical forecasting approaches. In this paper, we investigate the effectiveness of systematically probing exogenous knowledge in the form of Google Trends time series and combining it with multi-modal information related to a brand-new fashion item, in order to effectively forecast its sales despite the lack of past data. In particular, we propose a neural network-based approach, where an encoder learns a representation of the exogenous time series, while the decoder forecasts the sales based on the Google Trends encoding and the available visual and metadata information. Our model works in a non-autoregressive manner, avoiding the compounding effect of large first-step errors. As a second contribution, we present VISUELLE, a publicly available dataset for the task of new fashion product sales forecasting, containing multimodal information for 5577 real, new products sold between 2016-2019 from Nunalie, an Italian fast-fashion company. The dataset is equipped with images of products, metadata, related sales, and associated Google Trends. We use VISUELLE to compare our approach against state-of-the-art alternatives and several baselines, showing that our neural network-based approach is the most accurate in terms of both percentage and absolute error. It is worth noting that the addition of exogenous knowledge boosts the forecasting accuracy by 1.5% in terms of Weighted Absolute Percentage Error (WAPE), revealing the importance of exploiting informative external information. The code and dataset are both available at https://github.com/HumaticsLAB/GTM-Transformer.

研究动机与目标

• 解决缺乏历史数据的新时尚产品销量预测挑战。
• 探究将 Google Trends 时间序列作为外生信号整合到多模态销量预测中的有效性。
• 开发一种非自回归深度学习模型，以避免销量预测中的误差累积。
• 创建并发布 VISUELLE，一个用于新时尚产品销量预测的公开基准数据集。
• 将模型性能与最先进基线方法及现实业务策略（如 60% 规则）进行评估。

提出的方法

• GTM-Transformer 模型采用基于 Transformer 的架构，为 Google Trends、图像特征和元数据分别设置独立编码器。
• 通过交叉注意力机制动态关注相关 Google Trends 时间序列片段，特别是产品发布前 7–10 个月的信号。
• 该模型为非自回归模型，同时预测所有未来时间步，以避免首步误差的累积。
• 图像特征通过预训练模型提取，Fashion IQ 属性则从图像中自动推断，以增强多模态输入。
• 解码器通过注意力机制关注编码后的 Google Trends 和多模态特征，生成销量预测，采用多头注意力机制。
• 模型采用掩码多头损失进行端到端训练，以优化预测精度。

Figure 1: Sample images representing various product categories within the VISUELLE dataset.

实验结果

研究问题

• RQ1 基于产品属性提取的 Google Trends 时间序列能否显著提升新时尚产品销量预测的准确性？
• RQ2 Google Trends 信号的时间定位（例如滞后数月）如何影响预测性能？
• RQ3 非自回归 Transformer 架构在新产品的销量预测中，相较于自回归或传统机器学习基线方法，优势有多大？
• RQ4 图像特征与自动推断属性的整合在多大程度上提升了预测性能？
• RQ5 所提出的模型能否在首次库存规划中优于现实业务策略（如 60% 规则）？

主要发现

• GTM-Transformer 模型在所有对比方法中实现了最低的加权平均百分比误差（WAPE），相比基线模型降低 1.5%。
• 最具有信息量的 Google Trends 信号始终位于产品发布前 7–10 个月，这由交叉注意力机制中的峰值注意力权重所证实。
• 引入外生 Google Trends 数据显著提升了预测精度，证明了在新产品场景中流行度先验的价值。
• 该模型在首次预测中优于 60% 业务策略，将首周销量预测的平均绝对误差从 313.6 单位降低至 262.3 单位。
• 与 60% 策略相比，GTM-Transformer 将首次库存规划中的货币差异减少至 324 万美元，而 60% 策略为 392 万美元，显示出实际业务影响。
• VISUELLE 数据集包含 5,577 个新时尚产品，包含图像、元数据、销量和 Google Trends 数据，支持可复现的基准测试及未来多模态销量预测研究。

Figure 2: Cardinalities of the dataset for clothing categories (a), color (b) and fabric (c).