[论文解读] The Effect of Visual Noise on The Completion of Security Critical Tasks

Tyler Kaczmarek, Alfed Kobsa+2 more|arXiv (Cornell University)|May 21, 2014

User Authentication and Security Systems参考文献 22被引用 3

一句话总结

本研究调查了意外的视觉和听觉干扰对安全关键任务表现的影响，采用了一种自动化、无人值守的实验设置，共有147名参与者。出人意料的是，视觉和听觉干扰反而降低了蓝牙配对任务的错误率，挑战了干扰会普遍损害安全任务表现的假设。

ABSTRACT

User errors while performing security-critical tasks can lead to undesirable or even disastrous consequences. One major factor influencing mistakes and failures is complexity of such tasks, which has been studied extensively in prior research. Another important issue which hardly received any attention is the impact of both accidental and intended distractions on users performing security-critical tasks. In particular, it is unclear whether, and to what extent, unexpected sensory cues (e.g., auditory or visual) can influence user behavior and/or trigger mistakes. Better understanding of the effects of intended distractions will help clarify their role in adversarial models. As part of the research effort described in this paper, we administered a range of naturally occurring -- yet unexpected -- sounds while study participants attempted to perform a security-critical task. We found that, although these auditory cues lowered participants' failure rates, they had no discernible effect on their task completion times. To this end, we overview some relevant literature that explains these somewhat counter-intuitive findings. Conducting a thorough and meaningful study on user errors requires a large number of participants, since errors are typically infrequent and should not be instigated more than once per subject. To reduce the effort of running numerous subjects, we developed a novel experimental setup that was fully automated and unattended. We discuss our experience with this setup and highlight the pros and cons of generalizing its usage.

研究动机与目标

• 调查意外感官干扰（特别是视觉和听觉噪声）对用户在安全关键任务中表现的影响。
• 解决可用性研究中罕见用户错误的挑战，此类研究通常因失败率低而需要大规模受试者群体。
• 开发并评估一种使用视频投射实验人员的自动化、无人值守实验设置，以减轻后勤和财务负担。
• 探索是否可以利用对抗性感官刺激来提高任务准确性，与传统假设相反。
• 建立一种可扩展、合乎伦理的实验模型，用于安全关键场景下的大规模可用性研究。

提出的方法

• 部署了一套完全自动化、无人值守的实验设置，其中通过全尺寸视频投射的实验人员向参与者提供指导。
• 在类似公共场所的环境中进行蓝牙设备配对任务，参与者需对比智能白板上显示的6位数PIN码与智能手机上的号码。
• 在任务执行过程中引入意外的听觉刺激（如突然的声音），以模拟现实世界中的干扰。
• 通过视频记录和自动化日志收集性能数据，无需现场实验人员参与。
• 实施经机构审查委员会（IRB）批准的协议，确保合乎伦理，包括数据匿名化和视频删除。
• 从147名参与者处收集数据，涵盖多个实验时段，仅保留极少的识别信息。

实验结果

研究问题

• RQ1 意外的听觉和视觉干扰如何影响用户执行安全关键任务的成功率？
• RQ2 意外或对抗性感官刺激是否可能提升而非损害安全任务中的表现？
• RQ3 无人值守、自动化的实验设置在多大程度上能可靠地测量可用性研究中的罕见用户错误？
• RQ4 在公共场所部署大规模、无人值守实验所面临的伦理和后勤挑战是什么？
• RQ5 在共享实验空间中，参与者协作或多主体行为如何影响数据的有效性和可靠性？

主要发现

• 意外的听觉刺激显著降低了蓝牙配对任务的失败率，与初始假设相反，即干扰会损害表现。
• 暴露于听觉噪声的参与者比处于安静环境中的参与者完成任务的成功率更高，表明噪声可能存在促进作用。
• 听觉噪声的存在并未显著影响任务完成时间，表明噪声并未减慢参与者。
• 自动化、无人值守的实验设置成功地在极少人工干预下收集了147名参与者的实验数据，验证了其可扩展性。
• 多名参与者同时参与实验是常见问题，部分参与者存在协作行为，这在数据收集中引入了潜在混杂因素。
• 本研究表明，视频记录对完整性检查至关重要，但也带来了隐私和伦理问题，需谨慎管理。