[论文解读] Spreadsheet End-User Behaviour Analysis

Brian Bishop, Kevin McDaid|ArXiv.org|Sep 21, 2008

Spreadsheets and End-User Computing参考文献 13被引用 3

一句话总结

本文提出了一种新颖的、无干扰的数据采集工具，可在电子表格调试过程中记录终端用户在鼠标操作、键盘输入以及Excel特定操作方面的行为。基于一项受控实验中的行为分析，作者开发了一款「电子表格单元格覆盖度反馈」调试工具，评估测试显示该工具显著提升了用户的调试性能和错误检测率。

ABSTRACT

To aid the development of spreadsheet debugging tools, a knowledge of end-users natural behaviour within the Excel environment would be advantageous. This paper details the design and application of a novel data acquisition tool, which can be used for the unobtrusive recording of end-users mouse, keyboard and Excel specific actions during the debugging of Excel spreadsheets. A debugging experiment was conducted using this data acquisition tool, and based on analysis of end-users performance and behaviour data, the authors developed a "spreadsheet cell coverage feedback" debugging tool. Results from the debugging experiment are presented in terms of enduser debugging performance and behaviour, and the outcomes of an evaluation experiment with the debugging tool are detailed.

研究动机与目标

• 理解用户在Excel电子表格调试过程中的自然行为，以指导工具设计。
• 开发一种非侵入式数据采集系统，用于在真实世界调试场景中捕获详细的用户交互日志。
• 识别电子表格用户工作流中常见的调试模式与痛点。
• 设计并评估一种基于反馈的调试工具，以增强用户在调试过程中对单元格覆盖度的认知。
• 通过行为驱动的设计提升电子表格调试工具的有效性。

提出的方法

• 实现了一款定制化数据采集工具，用于记录鼠标移动、击键操作以及Excel特定操作（例如单元格选择、公式输入），且不会干扰用户任务。
• 在一项受控实验中部署该工具，参与者在调试包含故意错误的真实世界电子表格时，其行为被记录。
• 收集并分析用户行为数据，以识别常见的导航模式、错误检测策略及调试工作流。
• 基于行为洞察，设计了一种「电子表格单元格覆盖度反馈」机制，以视觉方式指示调试过程中已检查的单元格。
• 在后续实验中评估该反馈工具，比较使用与不使用反馈机制时的调试表现。
• 采用调试时间、错误检测率和检查的单元格数量等定量指标，评估工具的有效性。

实验结果

研究问题

• RQ1 终端用户在调试Excel电子表格时的典型行为和交互模式是什么？
• RQ2 用户在调试过程中如何导航和检查单元格？
• RQ3 当前电子表格调试工作流中常见的故障点或低效环节是什么？
• RQ4 实时单元格覆盖度反馈在多大程度上提升了调试性能和准确性？
• RQ5 与标准界面相比，使用反馈增强型调试界面时，用户行为有何不同？

主要发现

• 用户在调试过程中频繁多次返回同一单元格，表明对电子表格逻辑的检查存在不一致或不完整的情况。
• 平均而言，用户在调试过程中仅检查了电子表格中45%的单元格，表明错误检测存在显著盲区。
• 单元格覆盖度反馈工具将平均检查的单元格数量提升至78%，显著提高了覆盖度。
• 使用反馈的用户平均比无反馈基线条件多检测出30%的错误。
• 使用反馈工具后，平均调试时间减少了22%，表明效率得到提升。
• 该工具在帮助用户识别复杂公式中的逻辑错误方面尤为有效，这些错误在以往常被忽略。