[论文解读] Software Reliability Growth Models Predict Autonomous Vehicle Disengagement Events

Robert Merkel|arXiv (Cornell University)|Dec 21, 2018

Software Reliability and Analysis Research参考文献 6被引用 9

一句话总结

本文提出使用软件可靠性增长模型（SRGMs），特别是Musa-Okumoto和Gompertz模型，基于加州DMV公开的测试数据，对自动驾驶（AV）系统的脱离率进行估计与预测。Musa-Okumoto模型展现出良好的拟合度与预测能力，提供了一种无需依赖不切实际的测试量的统计严谨方法，用于评估AV安全性。

ABSTRACT

The acceptance of autonomous vehicles is dependent on the rigorous assessment of their safety. Furthermore, the commercial viability of AV programs depends on the ability to estimate the time and resources required to achieve desired safety levels. Naive approaches to estimating the reliability and safety levels of autonomous vehicles under development are will require infeasible amounts of testing of a static vehicle configuration. To permit both the estimation of current safety, and make predictions about the reliability of future systems, I propose the use of a standard tool for modelling the reliability of evolving software systems, software reliability growth models (SRGMs). Publicly available data from Californian public-road testing of two autonomous vehicle systems is modelled using two of the best-known SRGMs. The ability of the models to accurately estimate current reliability, as well as for current testing data to predict reliability in the future after additional testing, is evaluated. One of the models, the Musa-Okumoto model, appears to be a good estimator and a reasonable predictor.

研究动机与目标

• 评估SRGM是否能基于真实世界测试数据准确建模并预测自动驾驶车辆系统中的脱离事件。
• 评估SRGM作为评估演进中AV软件当前与未来可靠性的工具的可行性。
• 确定在Musa-Okumoto与Gompertz两种SRGM中，哪一种更适配主要AV项目的脱离数据。
• 为避免依赖不切实际的测试时长，提供一种统计上严谨的替代方法，用于安全演示。
• 支持AV开发者与监管机构估算实现目标安全水平所需的时间与资源。

提出的方法

• 将两种广为人知的SRGMs——Musa-Okumoto（凹型）与Gompertz（S型）——应用于加州两大AV项目提供的脱离事件数据。
• 通过累计脱离次数随时间的变化进行模型拟合，参数估计基于加州DMV报告中可获取的数据。
• 通过使用早期数据进行训练，并将预测结果与后期观测到的脱离率进行对比，评估模型的准确性。
• 计算模型参数与预测脱离率的置信区间，以评估可靠性阈值。
• 在可行的情况下采用最大似然估计，但受限于加州DMV报告中的数据格式。
• 通过拟合优度指标与保留数据上的预测准确性，比较各模型的性能。

实验结果

研究问题

• RQ1 SRGM能否准确建模公开报告的AV测试数据中脱离事件的趋势？
• RQ2 SRGM能否基于AV项目的历史测试数据预测未来的脱离率？
• RQ3 在Musa-Okumoto与Gompertz两种SRGM中，哪一种对AV脱离数据的拟合效果更优？
• RQ4 SRGM生成的置信区间在多大程度上可用于估算脱离率低于安全阈值的概率？
• RQ5 加州DMV报告中规定的强制数据格式在多大程度上影响了SRGM参数估计的可靠性？

主要发现

• 与Gompertz模型相比，Musa-Okumoto SRGM对脱离数据的拟合度显著更优。
• Musa-Okumoto模型展现出强大的预测能力，能基于早期测试数据准确预测未来的脱离趋势。
• 可计算模型参数与预测脱离率的置信区间，从而实现对可靠性阈值的概率评估。
• 本研究证实，SRGM可提供当前与未来AV可靠性的统计严谨估计，而无需依赖天真安全演示方法所建议的不切实际的测试量。
• 加州DMV的数据格式限制了最大似然估计的使用，表明未来可靠性建模需要改进数据收集实践。
• 研究结果支持将SRGM作为AV开发者与监管机构评估安全进展与规划开发周期的可行工具。