[论文解读] Variational Bayesian Inference for Mixed Logit Models with Unobserved Inter- and Intra-Individual Heterogeneity

Rico Krueger, Prateek Bansal+3 more|arXiv (Cornell University)|May 1, 2019

Economic and Environmental Valuation参考文献 49被引用 7

一句话总结

本文提出了一种变分贝叶斯（VB）推断方法，用于处理混合日志模型中的未观测个体间与个体内偏好异质性。通过结合准蒙特卡洛积分与拟牛顿优化，该方法实现了快速、可扩展且精确的后验估计——在计算速度上比最大模拟似然（MSL）和马尔可夫链蒙特卡洛（MCMC）快2.8至17.7倍，同时保持了相当或更优的预测准确性。

ABSTRACT

Variational Bayes (VB), a method originating from machine learning, enables fast and scalable estimation of complex probabilistic models. Thus far, applications of VB in discrete choice analysis have been limited to mixed logit models with unobserved inter-individual taste heterogeneity. However, such a model formulation may be too restrictive in panel data settings, since tastes may vary both between individuals as well as across choice tasks encountered by the same individual. In this paper, we derive a VB method for posterior inference in mixed logit models with unobserved inter- and intra-individual heterogeneity. In a simulation study, we benchmark the performance of the proposed VB method against maximum simulated likelihood (MSL) and Markov chain Monte Carlo (MCMC) methods in terms of parameter recovery, predictive accuracy and computational efficiency. The simulation study shows that VB can be a fast, scalable and accurate alternative to MSL and MCMC estimation, especially in applications in which fast predictions are paramount. VB is observed to be between 2.8 and 17.7 times faster than the two competing methods, while affording comparable or superior accuracy. Besides, the simulation study demonstrates that a parallelised implementation of the MSL estimator with analytical gradients is a viable alternative to MCMC in terms of both estimation accuracy and computational efficiency, as the MSL estimator is observed to be between 0.9 and 2.1 times faster than MCMC.

研究动机与目标

• 为解决现有贝叶斯方法在混合日志模型中仅考虑个体间异质性、尤其在个体内变异常见的面板数据设置下的局限性。
• 开发一种可扩展且计算高效的变分贝叶斯（VB）方法，用于同时包含未观测个体间与个体内异质性的混合日志模型中的后验推断。
• 在参数恢复、预测准确性和计算效率方面，将所提出的VB方法与最大模拟似然（MSL）和马尔可夫链蒙特卡洛（MCMC）进行基准比较。
• 探索并行化MSL结合解析梯度作为MCMC在速度与准确性方面可行替代方案的可行性。
• 识别未来研究方向，包括混合MCMC-VB框架、与MACML估计器的比较，以及将滤波技术整合用于个性化推荐。

提出的方法

• 该方法采用变分贝叶斯近似处理具有分层随机参数（用于个体间与个体内异质性）的混合日志模型中难以计算的后验分布。
• 利用准蒙特卡洛（QMC）积分高效近似似然函数中的log-sum-of-exponentials项，从而降低蒙特卡洛误差。
• 变分分布对效用参数进行因子分解，其参数通过拟牛顿优化更新，以最小化与真实后验分布之间的Kullback-Leibler散度。
• 该方法将个体特定的偏好参数建模为围绕群体均值的扰动，从而实现对个体间与个体内方差成分的联合估计。
• 通过并行计算实现似然函数与梯度评估，提升了可扩展性。
• 该框架支持完整的协方差结构与结构化先验，以灵活建模异质性。

实验结果

研究问题

• RQ1 变分贝叶斯能否为同时包含个体间与个体内异质性的混合日志模型提供一种快速、可扩展且准确的替代方法，相较于MSL与MCMC？
• RQ2 在不同数据配置下，所提出的VB方法在参数恢复与预测准确性方面的表现如何，相较于MSL与MCMC？
• RQ3 并行化MSL结合解析梯度在计算效率与估计准确性方面，相较于MCMC的性能提升程度如何？
• RQ4 与仅考虑个体间异质性的模型相比，同时考虑个体间与个体内异质性是否能显著提升个体内部预测准确性？
• RQ5 未来在离散选择建模中，整合滤波方法、混合MCMC-VB框架或MACML估计器的潜在研究方向有哪些？

主要发现

• 在所有模拟场景中，所提出的VB方法比MSL与MCMC快2.8至17.7倍，且在更大数据集上观察到最高的加速比。
• VB在参数恢复与样本外预测准确性方面与MSL和MCMC相当或更优，尤其在高相关性场景下表现更佳。
• 结合解析梯度的并行化MSL估计器比MCMC快0.9至2.1倍，且在参数恢复与预测准确性方面表现几乎相当。
• 在随机参数之间存在高相关性的场景中，VB保持了稳定的性能，估计值方差较低，收敛稳定性优于MCMC。
• 研究发现，在仅包含个体间异质性的模型基础上增加个体内异质性，并未显著提升个体内部预测准确性。
• 结果表明，VB是实时或大规模离散选择建模中计算速度至关重要的场景下的高度可行替代方案。