[论文解读] Understanding Differences among Executions with Variational Traces

Jens Meinicke, Chu-Pan Wong+2 more|arXiv (Cornell University)|Jul 10, 2018

Security and Verification in Computing参考文献 1被引用 4

一句话总结

本文提出变分追踪（variational traces）——一种紧凑、动态的控制流与数据流差异表示方法，用于帮助开发者理解可配置软件中的交互故障。通过利用变分执行技术，在指数级数量的输入配置之间高效比较执行轨迹，作者在用户研究中表明，使用其Eclipse插件Varviz的开发者调试故障的速度比使用标准调试工具快两倍以上。

ABSTRACT

One of the main challenges of debugging is to understand why the program fails for certain inputs but succeeds for others. This becomes especially difficult if the fault is caused by an interaction of multiple inputs. To debug such interaction faults, it is necessary to understand the individual effect of the input, how these inputs interact and how these interactions cause the fault. The differences between two execution traces can explain why one input behaves differently than the other. We propose to compare execution traces of all input options to derive explanations of the behavior of all options and interactions among them. To make the relevant information stand out, we represent them as variational traces that concisely represents control-flow and data-flow differences among multiple concrete traces. While variational traces can be obtained from brute-force execution of all relevant inputs, we use variational execution to scale the generation of variational traces to the exponential space of possible inputs. We further provide an Eclipse plugin Varviz that enables users to use variational traces for debugging and navigation. In a user study, we show that users of variational traces are more than twice as fast to finish debugging tasks than users of the standard Eclipse debugger. We further show that variational traces can be scaled to programs with many options.

研究动机与目标

• 解决在多个输入联合导致失败的情况下，调试可配置软件中交互故障的挑战。
• 克服标准调试器仅一次分析一个输入的局限性，使得跨配置的行为比较变得困难。
• 提供一种可扩展的、动态的方法，用于比较大量输入组合的执行轨迹，以解释为何某些输入会触发故障。
• 开发一个交互式工具（Varviz），使开发者能够导航并理解不同配置下程序行为的差异。
• 评估变分追踪在涉及复杂特性交互的真实调试场景中的有效性与可扩展性。

提出的方法

• 使用变分执行（分面执行）同时执行所有相关输入配置，在共享计算中进行，避免冗余执行和轨迹记录。
• 动态追踪并标注语句与状态及其对应的输入配置，以保留溯源信息，并实现实时差异识别。
• 通过合并所有执行的对齐轨迹构建变分轨迹，在共享控制流与数据流的同时，用其对应的输入上下文标注分歧路径。
• 应用过滤技术减少轨迹大小，抑制无关或冗余信息，仅聚焦于解释故障行为的差异。
• 实现一个交互式Eclipse插件Varviz，用于可视化变分轨迹，并支持轨迹差异的导航、过滤与探索。
• 利用轨迹对齐与溯源追踪技术，实现实时、按需分析，无需预先记录所有轨迹，从而避免内存爆炸。

实验结果

研究问题

• RQ1 开发者如何有效比较多个程序执行的行为，以理解可配置系统中的交互故障？
• RQ2 哪些技术能够实现对指数级数量输入配置的执行轨迹比较，且不会带来不可接受的内存或计算开销？
• RQ3 与传统调试器相比，动态的、变分化的轨迹分析方法是否能在调试速度和准确性方面表现更优？
• RQ4 变分轨迹在解释涉及多个交互输入的复杂故障原因方面有多有效？
• RQ5 在保持调试所需关键差异的前提下，变分轨迹在多大程度上可以实现扩展与压缩？

主要发现

• 使用Varviz插件的用户完成调试任务的速度比使用标准Eclipse调试器的用户快两倍以上。
• 使用变分轨迹后，完成调试任务的平均时间减少至不足一半，表明开发者效率显著提升。
• 变分轨迹有效捕捉并解释了涉及多个输入的交互故障，例如在示例中`flag`和`ipv4`参数共同导致崩溃。
• 作者证明，变分执行能够在无需完整记录所有轨迹的情况下，实现对指数级庞大输入空间的可扩展轨迹生成。
• 应用于变分轨迹的过滤技术成功减少了轨迹大小，同时保持简洁性并保留与故障相关的差异。
• 在六个高度可配置的系统上的评估表明，即使在复杂的真实场景中，变分轨迹依然实用且有效。