[论文解读] When Respondents Don't Care Anymore: Identifying the Onset of Careless Responding

Max Welz, Andreas Alfons|ArXiv.org|Mar 13, 2023

Mental Health Research Topics被引用 5

一句话总结

本文提出一种基于机器学习的方法，通过使用自标准化的变点检测技术，识别在一致性、不变性和反应速度三个响应维度上的结构性断裂，以检测长问卷中粗心回应的起始时刻。该方法能可靠地识别出被试从专注回应转向粗心回应的转变点，使研究者能够仅分析准确的响应片段，从而保留样本量。

ABSTRACT

Questionnaires in the behavioral sciences tend to be lengthy. However, literature suggests that survey length is a contributing factor to careless responding, with longer questionnaires yielding higher probability that participants start responding carelessly. Consequently, in long surveys a large number of participants may engage in careless responding, posing a major threat to internal validity. We propose a novel method for identifying the onset of careless responding (or an absence thereof) that searches for a changepoint in combined measurements of multiple dimensions in which carelessness may manifest, such as inconsistency and invariability. It is highly flexible, based on machine learning, and provides statistical guarantees for controlling the false positive rate. In simulation experiments, the proposed method achieves high accuracy in identifying carelessness onset and discriminates well between attentive and various types of careless responding, even when a large number of careless respondents are present. An empirical application highlights how identifying partial carelessness uncovers novel insights on careless responding behavior. Furthermore, we provide the freely available open source software package "carelessonset" to facilitate adoption by empirical researchers.

研究动机与目标

• 为应对在行为科学与组织科学长问卷调查中日益严重的粗心回应问题，即疲劳或无聊导致被试放弃准确回应。
• 开发一种方法，精确识别每位被试粗心回应开始的项目，而非将所有响应视为统一的粗心或专注状态。
• 提供一种灵活、无需模型的方法，不预先定义回应风格，并通过自标准化提供统计保障。
• 使研究者能够保留部分粗心被试中的有效响应片段，从而保持统计效能并减少样本损失。
• 通过允许对粗心响应片段进行独立分析，为理论构建开辟新途径，以研究其心理相关因素。

提出的方法

• 该方法结合了三种粗心行为的指标：响应不一致性（如矛盾回答）、响应不变性（如长时间重复‘同意’或‘不同意’等模式）以及快速反应时间。
• 采用基于自标准化的检验统计量，检测每位被试响应序列中三个维度的结构性断裂（变点）。
• 变点检测采用Shao & Zhang（2010）的方法，并针对多维时间序列进行适配，以识别响应行为发生转变的时刻。
• 该方法为非参数且无需模型，避免对响应分布或预定义粗心响应模式的假设。
• 采用自适应长串模式算法量化响应不变性，检测表明粗心行为的重复性响应模式。
• 该方法以R语言实现，并作为开源软件发布，以促进其在实证研究中的可及性与应用。

(a) The three dimensions indicative of carelessness. “RE” denotes the autoencoder reconstruction error, “ALSP” is the AdaptiveLongstringPattern sequence, and “Time” the per-page response time.

实验结果

研究问题

• RQ1 在长问卷中，每位被试的粗心回应从哪个项目开始？
• RQ2 能否有效结合不一致性、不变性和反应速度等多种粗心指标，以检测粗心回应的起始？
• RQ3 在不同粗心程度和响应模式下，该方法识别变点的可靠性如何？
• RQ4 该方法能否以高准确度区分部分粗心被试与始终专注的被试？
• RQ5 该方法在通过隔离准确响应片段来保留有效数据方面，能在多大程度上减少样本损失？

主要发现

• 在模拟实验中，该方法在高粗心程度下仍能可靠识别粗心回应的起始时刻。
• 该方法在区分专注与部分粗心被试方面表现优异，且在多种响应风格下均具强稳健性。
• 该方法能捕捉多种粗心响应模式，包括不一致、不变性或极端快速的响应。
• 在大五人格问卷的实证验证中，确认了该方法检测响应行为显著转变的能力。
• 该方法使研究者能够仅排除粗心部分的响应，从而保留部分粗心被试中的有效数据，最大限度减少样本损失。
• 开源R实现促进了该方法在标准调查数据预处理流程中的采纳与集成。

(b) The per-response test statistic of the changepoint detection test. The dashed horizontal line corresponds to the associated critical value at significance level 0.1%.