[论文解读] Utilizing Distance Metrics on Lineups to Examine What People Read From Data Plots

Niladri Roy Chowdhury, Dianne Cook+3 more|arXiv (Cornell University)|Aug 8, 2014

Data Mining Algorithms and Applications参考文献 14被引用 4

一句话总结

本文引入了距离度量以评估排列表的质量——一种将数据图嵌入零假设图中供人工判断的视觉假设检验工具。通过测量真实数据图与零假设图之间在最小距离、平均距离和分箱分离距离上的差异，研究发现这些度量与人工检测率和反应时间具有强烈相关性，从而可在人工测试前对排列表的有效性进行预评估。

ABSTRACT

Graphics play a crucial role in statistical analysis and data mining. This paper describes metrics developed to assist the use of lineups for making inferential statements. Lineups embed the plot of the data among a set of null plots, and engage a human observer to select the plot that is most different from the rest. If the data plot is selected it corresponds to the rejection of a null hypothesis. Metrics are calculated in association with lineups, to measure the quality of the lineup, and help to understand what people see in the data plots. The null plots represent a finite sample from a null distribution, and the selected sample potentially affects the ease or difficulty of a lineup. Distance metrics are designed to describe how close the true data plot is to the null plots, and how close the null plots are to each other. The distribution of the distance metrics is studied to learn how well this matches to what people detect in the plots, the effect of null generating mechanism and plot choices for particular tasks. The analysis was conducted on data that has already been collected from Amazon Turk studies conducted with lineups for studying an array of data analysis tasks.

研究动机与目标

• 开发距离度量，量化真实数据图与排列表中零假设图在视觉上的差异程度。
• 评估这些距离度量是否能预测人类在视觉推断任务中识别真实数据图的表现。
• 理解不同的零假设生成机制和图表类型如何通过基于距离的度量影响真实模式的可检测性。
• 提供一种基于距离度量的排列表质量预筛选工具，减少对昂贵的人类受试者测试的依赖。
• 比较不同距离度量（最小、平均、分箱）在捕捉人类对数据图视觉差异感知方面的有效性。

提出的方法

• 定义三种距离度量：最小分离距离（不同簇中任意两点间的最小距离）、平均分离距离（不同簇中点之间的平均距离）和分箱距离（基于直方图的空间分布）。
• 将这些度量应用于从真实数据和零假设模型生成的排列表中，使用带回归线的散点图以及高维数据的二维投影。
• 使用每种度量计算真实数据图与所有零假设图之间的距离，将‘差异’得分定义为真实图到最近零假设图的归一化距离。
• 利用来自亚马逊机械土耳其人（Amazon Mechanical Turk）研究的数据，其中人类受试者从 m=20 的排列表中识别出最不同的图。
• 分析距离度量差异与人类反应变量（检测率和反应时间）之间的关系。
• 使用统计建模评估每种距离度量预测人类行为的能力，包括变异性和非线性效应。

实验结果

研究问题

• RQ1 距离度量在多大程度上能预测人类在基于排列表的视觉推断任务中的检测率？
• RQ2 在最小、平均和分箱分离距离中，哪种度量最能捕捉人类对数据图视觉差异的感知？
• RQ3 距离度量的分布如何与在排列表中识别真实图的难度相关联？
• RQ4 零假设图生成机制和图表类型在多大程度上影响距离度量在预测人类反应方面的表现？
• RQ5 距离度量能否用于在人工评估前预评估排列表质量，从而降低实验成本？

主要发现

• 检测率随距离差异增大而提高，且最小距离和平均距离均有效捕捉了人类对视觉差异的敏感性。
• 随着距离差异增大，反应时间显著缩短，三种距离度量均显示出强烈的负相关性。
• 分箱距离度量在小差异情况下表现出更高的反应时间变异性，但仍呈现清晰的负向趋势。
• 在高维、小样本量的场景下，最小分离距离优于平均分离距离，因为异常值会扭曲平均值。
• 距离度量可预先识别排列表质量；例如，正的最小分离距离差异表明真实图在视觉上具有显著差异，而负的平均分离距离则表明其与零假设图高度相似。
• 距离度量的选择应与人类选择的原因相匹配——例如，回归斜率检测更适合使用基于回归的距离度量，而异常值检测则更适合使用高分箱的分箱距离度量。