[论文解读] SHOPPER: A Probabilistic Model of Consumer Choice with Substitutes and Complements

Francisco J. R. Ruiz, Susan Athey+1 more|arXiv (Cornell University)|Nov 9, 2017

Consumer Market Behavior and Pricing被引用 5

一句话总结

SHOPPER 是一种序列概率模型，通过学习到的潜在商品属性和客户偏好，对商品之间的替代性和互补性进行建模，从而捕捉消费者选择动态。该模型能够在大规模杂货购物数据上通过高效的变分推理，准确预测价格干预下的购买行为，并识别出互补和可替代的商品配对。

ABSTRACT

We develop SHOPPER, a sequential probabilistic model of shopping data. SHOPPER uses interpretable components to model the forces that drive how a customer chooses products; in particular, we designed SHOPPER to capture how items interact with other items. We develop an efficient posterior inference algorithm to estimate these forces from large-scale data, and we analyze a large dataset from a major chain grocery store. We are interested in answering counterfactual queries about changes in prices. We found that SHOPPER provides accurate predictions even under price interventions, and that it helps identify complementary and substitutable pairs of products.

研究动机与目标

• 开发一种可扩展且可解释的消费者选择模型，以捕捉购物篮中商品之间的复杂互动。
• 从大规模交易数据中估计驱动消费者行为的未观测因素，如偏好、价格敏感度和季节性影响。
• 实现对价格干预下需求变化的准确反事实预测。
• 基于观察到的购买模式，识别互补和可替代的商品配对。
• 设计一种高效的推理算法，能够大规模处理无序且高基数的购物篮。

提出的方法

• SHOPPER 使用基于客户偏好和篮子级潜在表示的对数双线性概率模型，对购物篮中的序列商品选择进行建模。
• 每个商品都关联一个潜在属性向量 $\alpha_c$ 和交互系数 $\rho_c$，用于捕捉商品在购物篮中与其他商品共现的模式。
• 客户偏好 $\theta_u$ 被建模为潜在向量，反映个体对特定商品类型的购买倾向。
• 价格和季节性影响作为观测协变量被纳入选择概率函数。
• 通过子采样的排列和商品，推导出无偏变分下界（ELBO），以处理所有篮子排序组合求和的不可计算性。
• 通过算法2使用随机梯度估计，子采样篮子、排列和候选商品，以高效计算优化所需的梯度。

实验结果

研究问题

• RQ1 如何对消费者购物篮中商品之间的复杂依赖关系（包括互补性和替代性）进行建模？
• RQ2 概率模型在反事实价格变化下，对消费者选择的预测准确度能达到何种程度？
• RQ3 能否从大规模、无序的购物数据中有效学习到潜在属性和客户偏好？
• RQ4 在序列选择框架下，价格和季节性影响如何改变商品的选择概率？
• RQ5 哪些类型的商品配对最可能是互补或可替代的，且能否从数据中可靠识别？

主要发现

• SHOPPER 即使在价格干预条件下，也能对消费者选择提供准确预测，展现出对反事实场景的强大泛化能力。
• 该模型成功基于数据中潜在的交互模式，识别出有意义的互补和可替代商品配对。
• 通过子采样的排列和候选商品，实现了在高维商品空间的大规模杂货数据集上的高效且可扩展的推理。
• 潜在属性 $\alpha_c$ 和客户偏好 $\theta_u$ 捕捉了可解释的模式，如对婴儿用品或狗粮的偏好。
• 得益于无偏梯度估计的变分界，该模型对所有可能篮子排序求和的不可计算性具有鲁棒性。
• 基于随机优化的推理过程能够有效扩展至包含数千名客户和数万种商品的数据集。