[论文解读] Practical Challenges with Spreadsheet Auditing Tools
本文通过大学生开展的受控研究，评估了14种电子表格审计工具，尽管这些工具在检测电子表格错误方面具有实用性，但仍暴露出关键的实际挑战。作者主张借鉴传统软件工程中的静态分析最佳实践，以提升电子表格审计工具的可靠性、可用性和故障检测准确性。
Just like other software, spreadsheets can contain significant faults. Static analysis is an accepted and well-established technique in software engineering known for its capability to discover faults. In recent years, a growing number of tool vendors started offering tools that allow casual end-users to run various static analyses on spreadsheets as well. We supervised a study where three undergraduate software engineering students examined a selection of 14 spreadsheet auditing tools, trying to give a concrete recommendation for an industry partner. Reflecting on the study's results, we found that most of these tools do provide useful aids in finding problems in spreadsheets, but we have also spotted several areas where tools had significant issues. Some of these issues could be remedied if spreadsheet auditing tool vendors would pick up some ideas of static analysis tools for traditional software development and adopt some of their solution approaches.
研究动机与目标
- 评估电子表格审计工具在真实场景中的实际有效性。
- 识别现有电子表格审计工具中反复出现的技术与可用性问题。
- 评估当前工具在电子表格故障检测方面是否满足工业需求。
- 通过借鉴传统软件工程中成熟的静态分析技术，提出可操作的改进建议。
提出的方法
- 对14种商业可用的电子表格审计工具进行对比评估。
- 基于厂商声明和市场存在感选择工具，重点关注其静态分析能力。
- 应用结构化测试框架，评估功能、准确性和可用性。
- 使用包含已知错误的真实电子表格示例，测试检测率和误报率。
- 分析工具输出在问题报告的一致性、精确性和可理解性方面的表现。
- 从传统软件工程静态分析中汲取洞见，提出针对电子表格工具的设计改进建议。
实验结果
研究问题
- RQ1现有电子表格审计工具在检测真实电子表格中已知错误方面的有效性如何？
- RQ2哪些常见的可用性与技术限制阻碍了电子表格审计工具的采用与可靠性？
- RQ3当前工具在多大程度上应用了传统软件工程中已确立的静态分析原则？
- RQ4在问题报告的精确率、召回率和清晰度方面，不同工具的输出表现如何比较？
- RQ5通过将编程语言中使用的静态分析技术适配到电子表格环境，可实施哪些改进？
主要发现
- 大多数电子表格审计工具在识别电子表格错误方面提供了有用帮助，但其质量与可靠性存在显著差异。
- 许多工具存在误报或漏报关键错误的问题，降低了其在工业环境中的可信度。
- 缺乏标准化的报告格式以及对电子表格逻辑解释不一致，影响了工具的可用性。
- 部分工具未能检测到常见的电子表格反模式，例如循环引用或数据类型不一致。
- 厂商往往忽视了软件工程中已确立的静态分析实践，例如数据流分析和污染传播追踪。
- 采用传统静态分析中经过验证的技术，可显著提升工具的准确性和用户信心。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。