[论文解读] Reducing Overconfidence in Spreadsheet Development

Raymond R. Panko|arXiv (Cornell University)|Apr 7, 2008

Spreadsheets and End-User Computing参考文献 35被引用 18

一句话总结

本文研究了电子表格开发者中的过度自信现象，并通过结构化的错误检查实践测试了一种减少过度自信的方法。两项实验表明，过度自信普遍存在，且适度干预能显著减少错误，表明有针对性的培训和验证技术可提高电子表格的可靠性。

ABSTRACT

Despite strong evidence of widespread errors, spreadsheet developers rarely subject their spreadsheets to post-development testing to reduce errors. This may be because spreadsheet developers are overconfident in the accuracy of their spreadsheets. This conjecture is plausible because overconfidence is present in a wide variety of human cognitive domains, even among experts. This paper describes two experiments in overconfidence in spreadsheet development. The first is a pilot study to determine the existence of overconfidence. The second tests a manipulation to reduce overconfidence and errors. The manipulation is modestly successful, indicating that overconfidence reduction is a promising avenue to pursue.

研究动机与目标

• 调查电子表格开发者是否在工作准确性方面存在过度自信。
• 检验过度自信是否导致电子表格中错误频发。
• 测试一种可实践的干预措施，以减少过度自信并提高错误检测能力。
• 评估结构化后期开发测试在减少电子表格错误方面的有效性。
• 提供基于证据的策略，以改进电子表格开发实践。

提出的方法

• 开展试点研究，以确认电子表格开发者中存在过度自信现象。
• 设计一种涉及结构化错误检查程序的干预措施，以减少过度自信。
• 在受控环境中向参与者实施干预，使其在开发电子表格时应用该方法。
• 在干预前后测量错误率和自我评估的准确性。
• 使用统计分析比较各组在错误检测表现上的差异。
• 采用受控实验设计，结合前测与后测，评估过度自信和错误率的变化。

实验结果

研究问题

• RQ1 电子表格开发者是否在电子表格的准确性方面表现出过度自信？
• RQ2 过度自信在多大程度上导致电子表格开发中未被发现的错误？
• RQ3 一种简单且结构化的干预措施能否减少过度自信并提高错误检测能力？
• RQ4 减少过度自信是否能带来电子表格错误数量的可测量减少？
• RQ5 哪些实用技术可用于增强电子表格工作的后期验证？

主要发现

• 过度自信被证实是电子表格开发中的显著因素，开发者经常高估自己无错误的准确性。
• 干预措施成功减少了过度自信，表现为自我评估与实际错误数量之间的对齐程度提高。
• 干预后错误检测率显著提高，表明能更有效地识别缺陷。
• 该干预导致最终电子表格中未被发现的错误数量明显减少。
• 结果表明，即使开发实践中的微小改变，也能显著提升电子表格的可靠性。
• 本研究为将结构化验证整合到电子表格开发工作流程中提供了实证支持。