[论文解读] Using Machine Learning to Test Causal Hypotheses in Conjoint Analysis

Dae-Woong Ham, Kosuke Imai+1 more|arXiv (Cornell University)|Jan 20, 2022

Economic and Environmental Valuation参考文献 34被引用 7

一句话总结

本文提出了一种基于条件随机化检验（CRT）的因果推断方法，用于联合分析（conjoint analysis），该方法无需假设且利用机器学习检测复杂交互作用。通过基于随机化的推断方法，该方法避免了模型误设问题，即使在高维设置下也能提供强大且精确的p值，相较于传统的平均边际成分效应（AMCE）方法，在检测显著交互作用方面表现更优。

ABSTRACT

Conjoint analysis is a popular experimental design used to measure multidimensional preferences. Researchers examine how varying a factor of interest, while controlling for other relevant factors, influences decision-making. Currently, there exist two methodological approaches to analyzing data from a conjoint experiment. The first focuses on estimating the average marginal effects of each factor while averaging over the other factors. Although this allows for straightforward design-based estimation, the results critically depend on the distribution of other factors and how interaction effects are aggregated. An alternative model-based approach can compute various quantities of interest, but requires researchers to correctly specify the model, a challenging task for conjoint analysis with many factors and possible interactions. In addition, a commonly used logistic regression has poor statistical properties even with a moderate number of factors when incorporating interactions. We propose a new hypothesis testing approach based on the conditional randomization test to answer the most fundamental question of conjoint analysis: Does a factor of interest matter in any way given the other factors? Our methodology is solely based on the randomization of factors, and hence is free from assumptions. Yet, it allows researchers to use any test statistic, including those based on complex machine learning algorithms. As a result, we are able to combine the strengths of the existing design-based and model-based approaches. We illustrate the proposed methodology through conjoint analysis of immigration preferences and political candidate evaluation. We also extend the proposed approach to test for regularity assumptions commonly used in conjoint analysis. An open-source software package is available for implementing the proposed methodology.

研究动机与目标

• 为解决传统基于AMCE的方法在联合分析中的局限性，这些方法可能因对其他因素取平均而掩盖显著交互作用。
• 开发一种方法，实现对联合实验中因果效应的无假设检验，完全摆脱参数模型假设。
• 将机器学习算法整合到联合数据的因果推断中，实现对复杂高阶交互作用的检测，且无模型误设风险。
• 将该框架扩展至检验常规性假设，如无问卷顺序效应、疲劳效应和残留效应等。
• 为研究人员提供一个实用的开源R软件包（CRTConjoint），支持精确p值计算，便于实施所提出的方法。

提出的方法

• 该方法采用条件随机化检验（CRT）基于联合实验的随机化机制，实现完全精确且无假设的假设检验。
• 允许研究人员使用任意检验统计量，包括来自复杂机器学习模型（如Lasso逻辑回归）的统计量，而无需指定模型形式。
• CRT通过在保持实验设计条件的前提下对感兴趣处理变量进行置换，构建零假设下的抽样分布，从而在“精确零假设”下保证推断的有效性。
• 在交互作用检测中，检验统计量包含主效应和交互项（例如性别与政党归属之间的交互），p值通过零假设下的置换计算得出。
• 通过使用反映特定违反情况（如问卷顺序效应或疲劳效应）的适当检验统计量，将该方法扩展至检验常规性假设。
• 提供一个开源R软件包CRTConjoint，支持高维数据处理和精确p值计算，便于方法实现。

实验结果

研究问题

• RQ1 当存在与其他因素的交互作用时，无论其边际效应如何，感兴趣因素是否在任何方面具有影响？
• RQ2 基于机器学习的检验统计量是否能比传统AMCE方法更有效地检测联合数据中的显著交互作用？
• RQ3 联合分析中常见的常规性假设（如无问卷顺序效应或疲劳效应）在真实数据中是否被违反？
• RQ4 当存在交互作用时，与基于AMCE的推断相比，基于CRT的方法在统计功效和有效性方面表现如何？
• RQ5 CRT能否检测到标准回归模型所遗漏的高阶交互作用（例如三重交互）？

主要发现

• 在总统候选人数据中，CRT检测到性别与政党归属之间存在显著交互作用，使用HierNet检验统计量的p值为0.029，表明性别效应因政党而异。
• 在总统候选人数据中，最强的交互作用是性别与政党归属之间，CRT的p值较低，表明性别效应依赖于候选人的政党。
• 在国会候选人数据中，同一交互作用的CRT p值为0.029，表明在不同数据集中均存在一致的交互效应证据。
• 该方法识别出两个显著的三重交互作用：一个涉及性别、政党归属和受访者政治兴趣；另一个涉及性别、政党归属和受访者自身政党归属。
• 在移民政策数据中，性别与政党归属交互作用的CRT p值为0.15，表明存在中等程度的交互证据；而基于AMCE的p值为0.89，表明未能检测到该效应。
• 即使在AMCE模型中加入主效应和交互项后，p值仍为0.40，表明CRT在存在复杂交互作用时能提供更强的非零效应证据。