[论文解读] Pattern Dependence Detection using n-TARP Clustering

Tarun Yellamraju, Mireille Boutin|arXiv (Cornell University)|Jun 13, 2018

Neural Networks and Applications参考文献 21被引用 3

一句话总结

本文提出n-TARP聚类方法，用于检测高维观测变量与一维结果变量之间的统计显著依赖关系，尤其适用于小样本教育数据集。通过将数据投影到随机的一维子空间，生成大量二元聚类，并利用置换检验进行验证，该方法通过结果差异的累积分布函数（empirical CDF）量化线性及高阶依赖关系，在27名学生的数字信号处理课程中揭示了显著的技能-成绩关系。

ABSTRACT

Consider an experiment involving a potentially small number of subjects. Some random variables are observed on each subject: a high-dimensional one called the "observed" random variable, and a one-dimensional one called the "outcome" random variable. We are interested in the dependencies between the observed random variable and the outcome random variable. We propose a method to quantify and validate the dependencies of the outcome random variable on the various patterns contained in the observed random variable. Different degrees of relationship are explored (linear, quadratic, cubic, ...). This work is motivated by the need to analyze educational data, which often involves high-dimensional data representing a small number of students. Thus our implementation is designed for a small number of subjects; however, it can be easily modified to handle a very large dataset. As an illustration, the proposed method is used to study the influence of certain skills on the course grade of students in a signal processing class. A valid dependency of the grade on the different skill patterns is observed in the data.

研究动机与目标

• 解决在样本量较小时，检测高维观测变量与一维结果变量之间依赖关系的挑战。
• 通过将重点从函数估计转向基于模式的聚类，克服因高维性与样本量少导致的回归病态问题。
• 开发一种可扩展且计算高效的算法，识别能够预测结果变异的统计显著的观测变量模式聚类。
• 量化依赖关系的强度与显著性，包括高阶（二次、三次）关系，并评估各特征的贡献。
• 在教育数据分析中展示该方法的实用性，特别是识别影响课程成绩的技能模式，且样本量极小。

提出的方法

• 通过改进的n-TARP分类器，对高维观测变量进行随机一维投影，生成大量二元聚类。
• 对每个聚类应用统计置换检验以验证显著性，剔除不显著的聚类。
• 构建聚类组间结果变量均值绝对差异的累积分布函数（empirical CDF），以量化依赖强度。
• 将经验累积分布函数与通过蒙特卡洛模拟获得的零假设分布进行比较，以确定统计显著性水平。
• 通过引入多项式项（最高至三阶）扩展特征空间，以检测观测模式与结果之间的非线性依赖关系。
• 通过依次移除对应于单个技能的特征并重新评估累积分布函数，执行特征选择，以评估其对结果依赖关系的影响。

实验结果

研究问题

• RQ1 基于模式的聚类能否在小样本数据集中检测到高维学生特征与课程结果之间统计显著的依赖关系？
• RQ2 观测变量模式与结果之间的线性、二次和三次关系在强度与显著性上如何比较？
• RQ3 哪些个体技能（如A、B、C、D、E）对课程成绩具有显著影响，且其依赖关系的阶次为何？
• RQ4 该方法能否在传统聚类方法失效的高维、小样本设置中，可靠地生成明确且统计显著的聚类？
• RQ5 包含高阶多项式特征后，对依赖关系模式的检测以及结果差异显著性有何影响？

主要发现

• 在10,000次n-TARP聚类中，有20次聚类既具有独特性又具有统计显著性，证明该方法在26维、27个样本的数据集中可生成可靠的聚类。
• 经验累积分布函数显示，30%的统计显著聚类中，平均成绩差异至少为0.5，且该差异处于两倍标准差显著性区域内。
• 当特征空间扩展至包含二次项时，结果差异的显著性区域最大，表明该阶次下可检测到更强的依赖关系。
• 对于三次项，当移除技能D时，累积分布函数曲线整体上移，表明技能D在三阶依赖关系中显著影响成绩，尽管在一次或二次关系中不显著。
• 线性依赖主要由技能A和E驱动；移除这些特征后，累积分布函数曲线整体上移，表明依赖强度降低。
• 在该小样本设置中，该方法优于标准聚类算法（如Proclus、K-means），因为大多数算法无法生成非重叠且统计显著的聚类。