[论文解读] Software Engineering User Study Recruitment on Prolific: An Experience Report

Brittany Reid, Markus Wagner+2 more|arXiv (Cornell University)|Jan 14, 2022

Software Engineering Research被引用 8

一句话总结

本文提出了一种在 Prolific 平台上通过预筛选验证、注意力检查和针对性编程知识问题，对合格的 Node.js 程序员进行验证的方法。在 680 名调查受访者中，仅有 55 人（8%）满足所有标准，表明自报的编程技能极不可靠，且主动验证在软件工程用户研究中至关重要。

ABSTRACT

Online participant recruitment platforms such as Prolific have been gaining popularity in research, as they enable researchers to easily access large pools of participants. However, participant quality can be an issue; participants may give incorrect information to gain access to more studies, adding unwanted noise to results. This paper details our experience recruiting participants from Prolific for a user study requiring programming skills in Node.js, with the aim of helping other researchers conduct similar studies. We explore a method of recruiting programmer participants using prescreening validation, attention checks and a series of programming knowledge questions. We received 680 responses, and determined that 55 met the criteria to be invited to our user study. We ultimately conducted user study sessions via video calls with 10 participants. We conclude this paper with a series of recommendations for researchers.

研究动机与目标

• 解决在线研究平台（如 Prolific）上参与者自报编程技能的高错误率问题。
• 通过超越自报的编程能力验证，减少软件工程用户研究中的招募噪声。
• 开发并测试一种多步骤筛选流程，以提高识别合格程序员参与者的准确性。
• 为在 Prolific 上开展与编程相关的用户研究的研究人员提供可操作的建议。

提出的方法

• 开展两部分研究：第一部分为筛选调查（第1部分），第二部分为合格参与者的视频通话会话（第2部分）。
• 通过比较自报的编程经验与后续问题的回答，实施预筛选验证，以检测不一致之处。
• 引入注意力检查，识别注意力不集中的参与者，例如未能按指示将答案设为“Java”的参与者。
• 基于先前研究设计了六道编程知识问题，其中一道（K7）要求在 Node.js 中实际执行代码，以验证实际编码能力。
• 在早期阶段筛选出回答不一致、未通过注意力检查或提供无意义答案的参与者。
• 使用 Prolific 的完成码系统和 YouCanBook.me 进行会话预约，确保数据隐私和参与者责任。

实验结果

研究问题

• RQ1 在 Prolific 上自报的编程技能在多大程度上准确反映了实际的 Node.js 编程能力？
• RQ2 注意力检查和编程知识问题在过滤不合格或注意力不集中的参与者方面有多有效？
• RQ3 预筛选验证在识别潜在参与者中自报不一致方面有何影响？
• RQ4 自报程序员与通过客观编码评估的参与者在人口统计和行为模式上存在哪些差异？
• RQ5 在基于视频的软件工程研究中，导致参与者退出的因素有哪些？

主要发现

• 在自报编程技能的参与者中，仅有 12% 满足本研究的客观标准，凸显了自报的不可靠性。
• 33% 的参与者在预筛选和调查回答之间给出了不一致的答案，表明自报不准确现象普遍存在。
• 在 206 名声称了解 Node.js 的参与者中，仅有 55 人（27%）通过了所有编程知识和验证检查。
• 识别合格程序员最有效的题目是 K6（输出预测）、K7（代码执行）和 K5（参数识别）。
• 最终程序员子群体中，47% 的人从事软件相关行业，证实了筛选流程的有效性。
• 14 名预约视频会话的参与者中，有 10 人成功完成，但有 4 人因焦虑或自我怀疑而退出，表明需要更清晰的预研究预期说明。