[论文解读] ResLogit: A residual neural network logit model

Melvin Wong, Bilal Farooq|arXiv (Cornell University)|Dec 20, 2019

Economic and Environmental Valuation参考文献 1被引用 5

一句话总结

ResLogit 提出了一种基于残差神经网络的对数几率模型，将深度学习与随机效用最大化相结合，实现了具有灵活误差结构的可解释离散选择建模。通过在效用误差中建模残差协方差，该模型捕捉了标准对数几率模型无法涵盖的复杂替代模式和未观测到的异质性，同时通过 GEV 框架保持了可解释性。

ABSTRACT

We present a Residual Logit (ResLogit) model for seamlessly integrating a data-driven Deep Neural Network (DNN) architecture in the random utility maximization paradigm. DNN models such as the Multi-layer Perceptron (MLP) have shown remarkable success in modelling complex data accurately, but recent studies have consistently demonstrated that their black-box properties are incompatible with discrete choice analysis for the purpose of interpreting decision making behaviour. Our proposed machine learning choice model is a departure from the conventional feed-forward MLP framework by using a dynamic residual neural network learning based approach. Our proposed method can be formulated as a Generalized Extreme Value (GEV) random utility maximization model for greater flexibility in capturing unobserved heterogeneity. It can generate choice model structures where the covariance between random utilities is estimated and incorporated into the random error terms, allowing for a richer set of higher-order substitution patterns than a standard logit might be able to achieve. We describe the process of our model estimation and examine the relative empirical performance and econometric implications on two mode choice experiments. We analyzed the behavioural and theoretical properties of our methodology. We showed how model interpretability is possible, while also capturing the underlying complex and unobserved behavioural heterogeneity effects in the residual covariance matrices.

研究动机与目标

• 解决黑箱深度神经网络在离散选择分析中的可解释性局限性。
• 通过引入深度学习架构扩展随机效用最大化框架，同时保持理论基础。
• 通过误差项中的结构化残差协方差矩阵建模未观测到的异质性。
• 在选择模型中实现超越标准对数几率模型的更丰富替代模式。
• 在捕捉复杂且未观测到的行为异质性的同时，通过基于 GEV 的公式保持模型可解释性。

提出的方法

• 该模型被表述为广义极值（GEV）随机效用最大化模型，以允许灵活的误差结构和随机效用中的相关性。
• 采用残差神经网络（ResNet）架构来学习复杂的效用函数，替代标准的前馈多层感知机（MLP）结构。
• 网络中的残差连接使得深层结构成为可能，并改善了对选择数据中复杂非线性关系的学习。
• 该模型估计残差误差的协方差矩阵，从而支持替代选项之间的高阶替代模式。
• 估计过程整合了深度学习优化与计量经济学原理，以确保理论一致性。
• 该模型结构允许通过学习到的残差协方差和效用参数来解释选择行为。

实验结果

研究问题

• RQ1 能否在保持可解释性的前提下，将深度神经网络嵌入随机效用最大化框架？
• RQ2 ResLogit 模型在捕捉选择行为中未观测到的异质性方面，相较于标准对数几率模型和 MLP 模型有何改进？
• RQ3 误差项中的残差协方差矩阵在多大程度上能够建模超越无关选项独立性（IIA）假设的复杂替代模式？
• RQ4 ResLogit 模型在真实世界的离散选择场景中表现出怎样的实证性能和计量经济学影响？
• RQ5 ResNet 架构的整合在选择建模中如何提升模型的灵活性与可解释性？

主要发现

• ResLogit 模型成功地将深度神经网络嵌入基于 GEV 的误差结构的随机效用最大化框架中。
• 通过估计的残差协方差矩阵，该模型捕捉了复杂的高阶替代模式，超越了标准对数几率模型的 IIA 假设。
• 在两个出行方式选择实验中的实证结果表明，该模型在捕捉行为异质性方面优于标准对数几率模型和 MLP 模型。
• 通过将残差网络结构化为反映有意义的效用组成部分和误差相关性，该模型保持了可解释性。
• 估计过程能够对效用参数和残差协方差进行可靠推断，支持理论与行为分析。
• 该方法表明，通过将深度学习嵌入坚实的计量经济学框架，可在选择建模中实现可解释性。