[论文解读] Studying Product Competition Using Representation Learning

Fanglin Chen, Xiao Liu+3 more|arXiv (Cornell University)|May 21, 2020

Consumer Market Behavior and Pricing参考文献 15被引用 6

一句话总结

本文提出Product2Vec，一种基于Word2Vec的表征学习方法，通过购物篮数据生成低维产品嵌入，以建模产品层面的竞争关系。通过消除价格影响并融入经济学理论，该方法能够准确预测需求与价格弹性，在速度和准确性上优于现有最先进模型，同时可区分互补品与替代品。

ABSTRACT

Studying competition and market structure at the product level instead of brand level can provide firms with insights on cannibalization and product line optimization. However, it is computationally challenging to analyze product-level competition for the millions of products available on e-commerce platforms. We introduce Product2Vec, a method based on the representation learning algorithm Word2Vec, to study product-level competition, when the number of products is large. The proposed model takes shopping baskets as inputs and, for every product, generates a low-dimensional embedding that preserves important product information. In order for the product embeddings to be useful for firm strategic decision making, we leverage economic theories and causal inference to propose two modifications to Word2Vec. First of all, we create two measures, complementarity and exchangeability, that allow us to determine whether product pairs are complements or substitutes. Second, we combine these vectors with random utility-based choice models to forecast demand. To accurately estimate price elasticities, i.e., how demand responds to changes in price, we modify Word2Vec by removing the influence of price from the product vectors. We show that, compared with state-of-the-art models, our approach is faster, and can produce more accurate demand forecasts and price elasticities.

研究动机与目标

• 为解决在电商平台数百万种产品中分析产品层面竞争关系的计算挑战。
• 开发一种可扩展、自动化的方法，无需人工干预或预定义市场细分，识别品牌间与品牌内竞争关系。
• 通过将经济学理论融入表征学习，提升需求预测与价格弹性估算的准确性。
• 利用学习到的嵌入区分互补品与替代品，支持产品线的战略优化。
• 在保持或提升预测准确性的同时，降低计算负担，相较现有模型更具优势。

提出的方法

• 该方法将Word2Vec模型改造为将购物篮视为句子、产品视为词语，生成保留共现模式的低维嵌入。
• 引入两种度量——互补性与可替代性——基于向量相似性，对产品对进行分类，判断其为互补品或替代品。
• 为准确估计价格弹性，采用控制函数方法从产品嵌入中去除价格影响，以解决价格内生性问题。
• 将嵌入与基于随机效用的选择模型结合，用于预测消费者选择，从而提升预测速度与准确性。
• 该方法在大规模购物篮数据上进行训练，可在标准硬件上高效运行，区别于依赖GPU的替代方案。
• 通过与最先进模型（如SHOPPER）的对比，验证了模型的性能，包括样本外命中率与价格弹性估计。

实验结果

研究问题

• RQ1 如何将表征学习方法适配于在数百万种产品中大规模建模产品层面的竞争关系？
• RQ2 从购物篮数据中学习到的产品嵌入能否有效区分互补品与替代品？
• RQ3 与传统固定效应模型或基于属性的模型相比，基于嵌入的模型在需求预测的准确性与速度上能提升多少？
• RQ4 从产品嵌入中去除价格影响后，对价格弹性估计有何影响？
• RQ5 与近期大规模选择模型（如SHOPPER）相比，所提出方法在性能与效率上表现如何？

主要发现

• 与采用产品固定效应或可观测属性的传统选择模型相比，Product2Vec将训练时间减少了94%。
• 在预测消费者选择时，样本外命中率从14.2%提升至14.8%，提高了4%。
• 与SHOPPER模型相比，Product2Vec在使用20维向量时，样本外命中率达到14.1%，高于SHOPPER的12.8%。
• 模型估计的价格弹性系数为−3.166，显著高于SHOPPER的−1.701，表明其对价格内生性问题的处理更优。
• 互补性与可替代性度量能有效识别出前3名互补品与替代品，验证了其经济学可解释性。
• 该方法具有高度可扩展性，可在标准个人计算机上高效运行，而无需依赖GPU，与SHOPPER等GPU依赖型模型形成对比。