[论文解读] Size matters? Or not: A/B testing with limited sample in automotive embedded software

Yuchu Liu, David Issa Mattos+3 more|arXiv (Cornell University)|Jul 6, 2021

Software Testing and Debugging Techniques参考文献 27被引用 13

一句话总结

本文提出了一种适用于小样本量的汽车嵌入式软件A/B测试的平衡匹配加权方法，利用实验前数据平衡对照组与处理组之间的协变量，从而降低方差并提高统计功效。在28辆汽车的案例研究中，该方法相比配对测试将标准差降低了37%，均方误差改善了17%，使得在小样本条件下能够实现有效的因果推断。

ABSTRACT

A/B testing is gaining attention in the automotive sector as a promising tool to measure causal effects from software changes. Different from the web-facing businesses, where A/B testing has been well-established, the automotive domain often suffers from limited eligible users to participate in online experiments. To address this shortcoming, we present a method for designing balanced control and treatment groups so that sound conclusions can be drawn from experiments with considerably small sample sizes. While the Balance Match Weighted method has been used in other domains such as medicine, this is the first paper to apply and evaluate it in the context of software development. Furthermore, we describe the Balance Match Weighted method in detail and we conduct a case study together with an automotive manufacturer to apply the group design method in a fleet of vehicles. Finally, we present our case study in the automotive software engineering domain, as well as a discussion on the benefits and limitations of the A/B group design method.

研究动机与目标

• 为解决汽车嵌入式软件A/B测试中样本量极小的问题，其车辆销量规模远低于网络系统。
• 开发并验证一种分组设计方法，即使在样本量有限的情况下也能确保对照组与处理组之间的平衡。
• 展示平衡匹配加权方法在真实世界汽车软件实验中的可行性与有效性。
• 提供一种实用的、分步实施的框架，适用于汽车软件工程场景中的方法应用。

提出的方法

• 该平衡匹配加权方法利用实验前数据识别并平衡对照组与处理组之间的可观测协变量（特征），以最小化组间方差。
• 采用匹配算法将协变量特征相似的受试者配对，确保在处理前两组在统计上具有可比性。
• 该方法同时处理数值型与分类协变量，实现灵活且稳健的分组平衡。
• 通过回归分析控制协变量以减少指标方差，类似于CUPED方法，从而增强对处理效应的敏感性。
• 该方法包含实验后的验证步骤，通过比较实验前与实验期间的特征分布，确保组间可比性。
• 支持迭代实验，允许在敏捷开发周期中逐步增加样本量。

实验结果

研究问题

• RQ1 在样本量极小的汽车A/B测试中，平衡匹配加权方法能否有效平衡对照组与处理组？
• RQ2 与标准随机化相比，该方法在小样本汽车实验中如何提升统计功效并降低方差？
• RQ3 当先验数据稀缺或多名驾驶员共用一辆车时，应用该方法面临哪些实际挑战？
• RQ4 当实验条件随时间变化时，该方法在多大程度上能维持组间可比性？
• RQ5 在真实世界汽车嵌入式软件测试中，特别是在能效优化用例中，该方法表现如何？

主要发现

• 在28辆车的案例研究中，平衡匹配加权方法仅用每组14名受试者即实现了有效的组间平衡。
• 与配对测试相比，该匹配后的A/B测试使目标变量的标准差降低了37%，显著提升了精度。
• 与配对测试相比，该方法将均方误差（MSE）降低了17%，表明估计精度更高。
• 尽管样本量较小，该方法仍实现了有效的因果推断，证明其在低样本量汽车软件实验中的实用性。
• 实验后验证确认了组间可比性得到维持，且特征分布在整个实验过程中保持平衡。
• 研究识别出若干关键挑战，包括对已有数据的依赖性，以及在车辆被多名驾驶员共用时难以捕捉驾驶员特异性影响的局限性。