[论文解读] Representing Random Utility Choice Models with Neural Networks

Ali Aouad, Antoine Désir|arXiv (Cornell University)|Jul 26, 2022

Economic and Environmental Valuation被引用 8

一句话总结

本文提出 RUMnets，一种神经网络架构，通过使用效用函数的样本平均近似（SAA）来近似随机效用最大化（RUM）离散选择模型。RUMnets 提供了一种结构化、可泛化的途径，能够紧密逼近所有 RUM 模型，在真实数据集上实现具有竞争力的预测准确率，并在未见数据上表现出良好的泛化能力，其可扩展性和可解释性优于无模型方法。

ABSTRACT

Motivated by the successes of deep learning, we propose a class of neural network-based discrete choice models, called RUMnets, inspired by the random utility maximization (RUM) framework. This model formulates the agents' random utility function using a sample average approximation. We show that RUMnets sharply approximate the class of RUM discrete choice models: any model derived from random utility maximization has choice probabilities that can be approximated arbitrarily closely by a RUMnet. Reciprocally, any RUMnet is consistent with the RUM principle. We derive an upper bound on the generalization error of RUMnets fitted on choice data, and gain theoretical insights on their ability to predict choices on new, unseen data depending on critical parameters of the dataset and architecture. By leveraging open-source libraries for neural networks, we find that RUMnets are competitive against several choice modeling and machine learning methods in terms of predictive accuracy on two real-world datasets.

研究动机与目标

• 开发一种基于神经网络的离散选择模型，保留随机效用最大化（RUM）的理论结构。
• 利用深度学习框架和开源库，实现 RUM 模型的高效估计。
• 为在选择数据上训练的 RUMnets 建立泛化误差的理论保证。
• 证明 RUMnets 在预测准确率和可扩展性方面优于无模型的机器学习方法，尤其在高维输入和大规模产品组合下表现更优。

提出的方法

• RUMnets 使用潜在效用的样本平均近似（SAA）对随机效用函数进行建模，使神经网络能够从数据中学习复杂、非线性的效用结构。
• 该架构的设计使得其选择概率可任意接近地逼近任意 RUM 离散选择模型，反之亦然，从而确保在 RUM 类别内的理论普遍性。
• 模型通过最大似然估计进行训练，使用标准深度学习优化工具，利用自动微分和反向传播。
• 推导出泛化误差的理论上界，表明其依赖于数据集和架构参数，但不依赖于 SAA 样本数量。
• 通过聚类（如 K-means）对客户特征进行处理，以定义具有代表性的客户类型，提升可解释性，并可视化替代模式。
• 实证评估使用真实世界数据集（如 Swissmetro），并在基于分类的设置中将 RUMnets 与 MNL、潜在类别 MNL、随机森林和深度神经网络进行比较。

实验结果

研究问题

• RQ1 神经网络架构能否以任意精度近似所有 RUM 离散选择模型？
• RQ2 RUMnets 的泛化误差如何随数据集规模、产品组合基数和网络深度变化？
• RQ3 在高维选择数据上，RUMnet 方法是否相较于无模型的机器学习方法保持更优的泛化能力和可解释性？
• RQ4 RUMnets 是否能有效捕捉现实中的替代模式（如价格敏感性），并适用于多样化客户类型？
• RQ5 在预测准确率和鲁棒性方面，RUMnets 与传统参数模型及端到端深度学习分类器相比表现如何？

主要发现

• RUMnets 可以以任意精度近似任意 RUM 离散选择模型，且反之，任何 RUMnet 的选择概率分布均与 RUM 原则一致。
• RUMnets 的泛化误差有界，且不随 SAA 样本数量增加而增长，表明在不同采样复杂度下学习过程稳定。
• 在 Swissmetro 数据集上，RUMnets 的预测性能接近真实模型，即使产品数量（P）增加，而随机森林的性能下降并趋近于随机猜测。
• RUMnets 在输入维度和产品组合规模不断增加的情况下仍保持一致的性能表现，而无模型方法（如随机森林）在高维输入下无法泛化。
• RUMnet 预测结果的可视化揭示了现实、可解释的替代模式（如价格敏感性和出行方式切换），在不同客户类型中表现合理；而随机森林可能产生反直觉、非单调的价格响应。
• RUMnet 架构可使用较少样本实现紧凑的 SAA 近似，表明其在大规模应用中具备计算效率和可扩展性。