[论文解读] Pairwise Choice Markov Chains

Stephen Ragain, Johan Ugander|arXiv (Cornell University)|Mar 8, 2016

Economic and Environmental Valuation参考文献 34被引用 5

一句话总结

本文提出了成对选择马尔可夫链（PCMC）模型，这是一种灵活且可推断的离散选择模型，通过在选择集上连续时间马尔可夫链的平稳分布定义选择概率。与MNL和MMNL等传统模型不同，PCMC不假设Luce的选择公理、随机传递性或规则性，但仍满足较弱的统一扩展性质，从而显著提升了预测准确性——在真实世界数据集SFwork和SFshop上，相比MNL的错误率分别降低了36.2%和46.5%。

ABSTRACT

As datasets capturing human choices grow in richness and scale -- particularly in online domains -- there is an increasing need for choice models that escape traditional choice-theoretic axioms such as regularity, stochastic transitivity, and Luce's choice axiom. In this work we introduce the Pairwise Choice Markov Chain (PCMC) model of discrete choice, an inferentially tractable model that does not assume any of the above axioms while still satisfying the foundational axiom of uniform expansion, a considerably weaker assumption than Luce's choice axiom. We show that the PCMC model significantly outperforms the Multinomial Logit (MNL) model in prediction tasks on both synthetic and empirical datasets known to exhibit violations of Luce's axiom. Our analysis also synthesizes several recent observations connecting the Multinomial Logit model and Markov chains; the PCMC model retains the Multinomial Logit model as a special case.

研究动机与目标

• 开发一种离散选择模型，摆脱Luce的选择公理、随机传递性和规则性等严格公理的限制，这些公理在经验数据中常被违反。
• 在保持可推断性的同时，灵活建模现实世界数据集中观察到的复杂且非规则的选择行为。
• 证明PCMC模型满足统一扩展性质——一种基础性结构约束，尽管未假设传统公理。
• 表明PCMC模型在已知违反Luce公理的合成与真实世界数据集上，相比MNL和混合MNL（MMNL）具有更优的预测性能。
• 建立马尔可夫链与离散选择模型之间的原则性联系，将MNL模型作为PCMC的一个特例进行推广。

提出的方法

• PCMC模型将选择概率定义为在每个选择集S上连续时间马尔可夫链（CTMC）的平稳分布，其转移率矩阵Q_S由对所有备选项对进行索引的全局率矩阵Q导出。
• 转移率q_ij表示备选项i与j之间的成对偏好强度，其中q_ij > 0表示对i的偏好强于j。
• 备选项i在集合S中的选择概率p_iS计算为由Q_S定义的CTMC中i的平稳概率质量。
• 该模型通过Q的非对角线元素参数化，支持基于梯度的优化进行最大似然估计。
• 该模型推广了MNL模型：当Q由BTL成对概率导出时，PCMC退化为MNL。
• PCMC模型被证明满足可收缩性——一种新引入的结构性质，其蕴含统一扩展性，为模型在放松标准公理条件下的理论基础提供了支持。

实验结果

研究问题

• RQ1 是否可以设计一种离散选择模型，既足够灵活以避免Luce的选择公理、随机传递性和规则性，又保持可推断性？
• RQ2 PCMC模型是否满足统一扩展性质——这一关键结构约束此前仅存在于MNL和不可行模型中？
• RQ3 在已知违反Luce公理的数据集上，PCMC模型相比MNL和MMNL在预测准确性方面提升了多少？
• RQ4 PCMC模型与随机效用模型（RUMs）之间存在何种关系？Q需满足何种条件才能使PCMC成为RUM？
• RQ5 如何通过使用非传递的成对选择模型（如Blade-Chest）有效参数化PCMC模型，以减少参数数量同时保持预测能力？

主要发现

• 在SFwork数据集上，当使用75%的数据进行训练时，PCMC模型相比MNL的预测误差降低了36.2%，相比MMNL降低了24.4%。
• 在SFshop数据集上，相同训练条件下，PCMC模型相比MNL的误差降低了46.5%，相比MMNL降低了31.7%。
• 该模型成功捕捉了非传递的选择模式：SFwork表现出最多8组循环三元组中的2组，SFshop表现出最多20组中的6组，表明随机传递性存在显著违反。
• 尽管未假设Luce的选择公理或规则性，PCMC模型仍满足统一扩展性质，这是一种基础性结构约束。
• PCMC模型推广了MNL模型：当成对率由BTL模型导出时，CTMC的平稳分布可恢复MNL的选择概率。
• 该模型具有可收缩性——一种由选择理论思想实验所启发的新引入性质——其蕴含统一扩展性，为模型的结构鲁棒性提供了理论依据。