[论文解读] Using Simpson's Paradox to Discover Interesting Patterns in Behavioral Data

Nazanin Alipourfard, Peter G. Fennell+1 more|arXiv (Cornell University)|May 8, 2018

Data Mining Algorithms and Applications被引用 7

一句话总结

本文提出一种数据驱动方法——辛普森异质性检测（Simpson's Disaggregation），通过检测辛普森悖论中的趋势反转，揭示异质性行为数据中出人意料的行为模式。该方法通过系统性地基于最小化组内结果方差的协变量对数据进行子群划分，识别出其行为显著偏离总体趋势的子群体，从而揭示可汗学院、多邻国和Stack Exchange等平台中用户表现的隐藏异质性。

ABSTRACT

We describe a data-driven discovery method that leverages Simpson's paradox to uncover interesting patterns in behavioral data. Our method systematically disaggregates data to identify subgroups within a population whose behavior deviates significantly from the rest of the population. Given an outcome of interest and a set of covariates, the method follows three steps. First, it disaggregates data into subgroups, by conditioning on a particular covariate, so as minimize the variation of the outcome within the subgroups. Next, it models the outcome as a linear function of another covariate, both in the subgroups and in the aggregate data. Finally, it compares trends to identify disaggregations that produce subgroups with different behaviors from the aggregate. We illustrate the method by applying it to three real-world behavioral datasets, including Q\&A site Stack Exchange and online learning platforms Khan Academy and Duolingo.

研究动机与目标

• 解决大规模、异质性行为数据中探索性分析的挑战，其中临时性方法缺乏系统性指导。
• 识别仅在数据解耦后才显现的、出人意料且非显而易见的行为模式，特别是被总体趋势所掩盖的模式。
• 通过统计严谨性，自动化发现行为显著偏离总体人群的子群体。
• 为行为科学中的数据探索提供系统化、可复现的方法，尤其适用于噪声大、稀疏且不平衡的数据集。
• 在真实世界的在线学习与问答平台中展示该方法的实用性，揭示技能、经验及时间动态方面的洞察。

提出的方法

• 该方法首先使用能最小化组内结果方差的条件协变量，将数据划分为子群。
• 在聚合数据和每个子群中，分别使用线性回归建模结果变量与自变量之间的关系。
• 通过识别子群中趋势方向与总体趋势相反的情况，检测辛普森悖论。
• 在聚合数据与解耦数据中评估趋势的统计显著性，并使用伪R²（如McFadden的R²）比较模型拟合度，以按解释力对解耦结果进行排序。
• 根据子模型相比聚合模型在解释数据方面的提升程度，对潜在条件变量进行排序。
• 该方法支持通过广义线性模型（GLMs）扩展至连续结果变量，并建议将高R²的变量对组合为新的复合特征，以提升预测能力。

实验结果

研究问题

• RQ1 哪些条件变量会导致子群中行为趋势与总体人群相反？
• RQ2 如何系统性地识别在异质性行为数据中表现出与总体显著不同的行为的子群？
• RQ3 初始表现、经验及时间因素在在线学习与问答平台中用户行为塑造中扮演何种角色？
• RQ4 由高R²变量对导出的复合特征在多大程度上改善了模型拟合度并解释了用户表现的方差？
• RQ5 通过辛普森悖论检测到的趋势反转，能否揭示在总体分析中被掩盖的有意义的行为亚型？

主要发现

• 以初始表现作为条件变量（在可汗学院中为前五次尝试，在多邻国中为前五个课程），持续揭示出具有不同表现轨迹的子群，表明用户技能或背景知识存在显著异质性。
• 经验（以可汗学院中的用户注册时长、多邻国中的课程数量、Stack Exchange中的回答数/声誉衡量）成为行为子群的关键区分因素。
• 时间与行为动态因素（如上次会话以来的时间、会话时长、解题时间）是重要条件变量，表明存在非平凡的短期表现波动。
• 该方法识别出：初始表现良好的用户通常维持高水平表现，而初始表现差的用户则呈现多样化模式，表明存在不同的学习或参与特征。
• 在所有三个数据集中，基于表现或活动特征进行条件划分形成的子群，其模型拟合度（伪R²）显著优于聚合模型，证实了解耦方法具有更强的解释力。
• 复合特征如可汗学院中的正确首次尝试占比（正确首次尝试/总尝试数）、多邻国中的会话正确率、Stack Exchange中的回答数与声誉之比，与表现高度相关，并显著提升了模型拟合度。