[论文解读] Simpson's Paradox and Collapsibility

P. Vellaisamy|arXiv (Cornell University)|Mar 25, 2014

Advanced Causal Inference Techniques参考文献 21被引用 3

一句话总结

本文研究了统计分析中辛普森悖论与可塌缩性之间的相互作用，特别是在列联表和回归模型中的应用。文章引入了平均可塌缩性这一比传统可塌缩性更灵活的条件，表明当 Y ⊥ W|X 或 W ⊥ X 时，即使效应同质性不成立，该条件依然成立，从而防止关联关系出现悖论性反转。

ABSTRACT

Simpson's paradox and collapsibility are two closely related concepts in the context of data analysis. While the knowledge about the occurrence of Simpson's paradox helps a statistician to draw correct and meaningful conclusions, the concept of collapsibility deals with dimension-reduction aspects, when Simpson's paradox does not occur. We discuss in this paper in some detail the nature and the genesis of Simpson's paradox with respect to well-known examples and also various concepts of collapsiblity. The main aim is to bring out the close connections between these two phenomena, especially with regard to the analysis of contingency tables, regression models and a certain measure of association or a dependence function. There is a vast literature on these topics and so we focus only on certain aspects, recent developments and some important results in the above-mentioned areas.

研究动机与目标

• 阐明辛普森悖论在现实数据中发生的具体条件，特别是在列联表和回归模型中的表现。
• 考察传统可塌缩性的局限性，并提出一种基于平均可塌缩性的更通用框架。
• 建立统计模型中平均可塌缩性的必要与充分条件，特别是在效应同质性不成立的情况下。
• 通过实例证明，辛普森悖论是由于第三个变量的混杂作用所致，特别是当协变量在不同组间分布不同时。
• 强调在生存分析和关联度量中，应在得出结论前检查可塌缩性的重要性。

提出的方法

• 使用概率分解方法，将边际关联建模为条件关联的加权平均，说明协变量分布差异如何导致整体趋势的反转。
• 应用全概率公式，将 P(Y|M) 和 P(Y|F) 表示为按院系划分的概率的加权平均，从而解释伯克利大学招生数据中的悖论。
• 通过条件 E[W|X=x](∂F(y|x,W)/∂x) = ∂F(y|x)/∂x 对所有 y 和 x 引入平均可塌缩性的概念。
• 利用积分条件 ∫F(y|x,w)(∂f(w|x)/∂x)dw = 0 对所有 (y,x) 推导出平均可塌缩性的必要与充分条件。
• 分析包含交互项的线性回归模型（例如 Y = α₁X + α₂W + α₃XW + ε），以说明效应导数的非同质性，从而证明平均可塌缩性的必要性。
• 使用非二值 W 的反例（例如 W ~ N(x,1)），表明即使 Y ⊥ W|X 和 W ⊥ X 不成立，平均可塌缩性仍可能成立。

实验结果

研究问题

• RQ1 在列联表和回归模型中，辛普森悖论在何种条件下发生？
• RQ2 协变量 W 的分布如何影响边际分析与条件分析中关联关系的反转？
• RQ3 在何种条件下，依赖函数在协变量 W 上具有可塌缩性或平均可塌缩性？
• RQ4 为何在效应非同质的模型中传统可塌缩性会失效，而平均可塌缩性如何解决此问题？
• RQ5 在何种情形下，即使标准条件（Y ⊥ W|X 或 W ⊥ X）不成立，平均可塌缩性仍能成立？

主要发现

• 辛普森悖论发生在对混杂变量 W 进行条件化后，X 与 Y 的边际关联发生反转，如加州大学伯克利分校招生数据所示：尽管男性在每个院系中被录取率均较低，但总体录取率却更高。
• 该悖论的根源在于申请者在不同院系中的分布不均：更多女性申请了竞争更激烈的院系（如历史系），从而扭曲了边际趋势。
• 当 Y ⊥ W|X 或 W ⊥ X 时，平均可塌缩性成立，且在 W 为二值时，该条件既是充分也是必要条件。
• 在包含交互项的线性回归模型（Y = α₁X + α₂W + α₃XW + ε）中，∂F(y|x,w)/∂x 在 w 上并非同质，因此传统可塌缩性不成立，但平均可塌缩性仍可能成立。
• 通过反例表明，即使 Y ⊥ W|X 和 W ⊥ X 均不成立，只要满足积分条件 ∫F(y|x,w)(∂f(w|x)/∂x)dw = 0，平均可塌缩性仍可成立。
• 本文结论认为，与标准可塌缩性相比，平均可塌缩性是一种更实用且更通用的标准，可用于避免统计建模中出现悖论性结论。