[论文解读] The Use of Binary Choice Forests to Model and Estimate Discrete Choices

Ningyuan Chen, Guillermo Gallego+1 more|arXiv (Cornell University)|Aug 3, 2019

Consumer Market Behavior and Pricing被引用 6

一句话总结

本文提出了二元选择森林——一种机器学习框架，利用随机森林估计离散选择模型，结合可解释的决策树，实现选择概率的一致预测，并捕捉复杂的消费者行为模式。实验表明，随机森林在合成数据和真实数据中均优于传统参数模型（如MNL和线性需求模型），尤其在模型误设或数据聚合的情况下表现更优。

ABSTRACT

Problem definition. In retailing, discrete choice models (DCMs) are commonly used to capture the choice behavior of customers when offered an assortment of products. When estimating DCMs using transaction data, flexible models (such as machine learning models or nonparametric models) are typically not interpretable and hard to estimate, while tractable models (such as the multinomial logit model) tend to misspecify the complex behavior represeted in the data. Methodology/results. In this study, we use a forest of binary decision trees to represent DCMs. This approach is based on random forests, a popular machine learning algorithm. The resulting model is interpretable: the decision trees can explain the decision-making process of customers during the purchase. We show that our approach can predict the choice probability of any DCM consistently and thus never suffers from misspecification. Moreover, our algorithm predicts assortments unseen in the training data. The mechanism and errors can be theoretically analyzed. We also prove that the random forest can recover preference rankings of customers thanks to the splitting criterion such as the Gini index and information gain ratio. Managerial implications. The framework has unique practical advantages. It can capture customers' behavioral patterns such as irrationality or sequential searches when purchasing a product. It handles nonstandard formats of training data that result from aggregation. It can measure product importance based on how frequently a random customer would make decisions depending on the presence of the product. It can also incorporate price information and customer features. Our numerical experiments using synthetic and real data show that using random forests to estimate customer choices can outperform existing methods.

研究动机与目标

• 开发一种数据驱动框架，将机器学习与可解释模型相结合，用于离散选择估计。
• 解决参数模型（如模型误设）和黑箱机器学习（如缺乏可解释性）在选择建模中的局限性。
• 在非标准数据格式（如聚合销售数据）下实现选择概率的准确预测。
• 提供关于客户偏好、产品重要性及决策机制的可解释洞察。
• 在保持理论一致性和预测能力的前提下，将价格和客户特征纳入选择建模。

提出的方法

• 提出二元选择森林作为一系列二元决策树的混合，每棵树代表潜在客户内部决策过程的一种可能。
• 利用随机森林（Breiman, 2001）估计森林，借助其处理高维和非线性模式的能力。
• 采用基尼指数作为分裂准则，该准则在理论上与客户偏好排序相关联。
• 应用链接函数 $ g(x) = \exp(-x) $ 将价格信息整合到模型中，实现价格感知的选择预测。
• 采用数据驱动方法估计选择概率，无需假设特定参数形式，从而灵活捕捉非理性或顺序搜索行为。
• 提出基于产品在森林中各棵树分裂中被频繁用作分割特征的频率，构建产品重要性指数。

实验结果

研究问题

• RQ1 随机森林能否通过二元选择森林一致地估计任意离散选择模型？
• RQ2 在数据聚合的情况下，二元选择森林在未见产品组合上的泛化能力如何，尤其在数据聚合时？
• RQ3 随机森林中使用的基尼指数与客户偏好排序之间存在何种理论关联？
• RQ4 价格和客户特征的引入如何影响模型的预测性能？
• RQ5 从森林中推导出的产品重要性指数能否为收益管理和产品组合优化提供可操作的洞察？

主要发现

• 随着样本量增加，随机森林能一致地恢复底层离散选择模型，证明了其在估计选择概率方面的理论一致性。
• 在数据聚合时（如 $ a = 50 $），随机森林优于MNL和马尔可夫链模型，RMSE从 $ a=1 $ 时的 0.038 上升至 $ a=50 $ 时的 0.060，而MNL和MC的性能下降更明显。
• 在引入价格信息后，即使数据由MNL生成，随机森林在 $ T = 1500 $ 时（RMSE: 0.050 vs. 0.053）和 $ T = 5000 $ 时（0.039 vs. 0.050）仍优于线性需求模型。
• 随机森林中使用的基尼指数分裂准则能有效恢复客户偏好排序，建立了树构建与选择行为之间的理论联系。
• 该框架能够处理实践中常见的非标准数据格式（如聚合销售数据），而无需进行去聚合处理。
• 产品重要性指数（MDI）量化了产品在决策中被影响的频率，为选择过程中的产品影响力提供了数据驱动的度量。