[论文解读] Summarizing the performances of a background subtraction algorithm measured on several videos

Piérard, Sébastien, Van Droogenbroeck, Marc|arXiv (Cornell University)|Jan 1, 2020

Video Surveillance and Tracking Methods参考文献 17被引用 5

一句话总结

本文提出了一种理论基础坚实的多视频背景减除算法性能总结方法，用概率上一致的方法替代标准算术平均，以保持性能指标（如F值、精确率、召回率）之间的关系。该方法确保了ROC与PR空间的一致性，并避免了解释性问题，在CDNET 2014上的实证验证显示，与传统平均方法相比，算法排名发生了显著变化。

ABSTRACT

There exist many background subtraction algorithms to detect motion in videos. To help comparing them, datasets with ground-truth data such as CDNET or LASIESTA have been proposed. These datasets organize videos in categories that represent typical challenges for background subtraction. The evaluation procedure promoted by their authors consists in measuring performance indicators for each video separately and to average them hierarchically, within a category first, then between categories, a procedure which we name "summarization". While the summarization by averaging performance indicators is a valuable effort to standardize the evaluation procedure, it has no theoretical justification and it breaks the intrinsic relationships between summarized indicators. This leads to interpretation inconsistencies. In this paper, we present a theoretical approach to summarize the performances for multiple videos that preserves the relationships between performance indicators. In addition, we give formulas and an algorithm to calculate summarized performances. Finally, we showcase our observations on CDNET 2014.

研究动机与目标

• 解决在多视频背景下对背景减除算法性能进行标准总结时缺乏理论依据的问题。
• 解决由算术平均引起的不一致性，该方法破坏了精确率、召回率和F值等性能指标之间的关系。
• 在汇总的性能指标中保持ROC与PR空间之间的双射关系。
• 提供一个概率上合理的总结框架，确保在不同评估数据集上保持解释性和一致性。
• 通过CDNET 2014基准演示新方法对算法排名的影响。

提出的方法

• 定义视频级别性能指标（如真正率、精确率）背后的随机实验，为像素级结果分配概率。
• 通过为每段视频分配权重，将随机实验推广到多视频场景，从而建立统一的联合概率模型用于总结。
• 从各视频指标（TP、FP、FN、TN）的加权和中推导出汇总指标（如F值、错误率），确保数学一致性。
• 使用公式 $\text{F}(\mathbb{V}) = \frac{2\text{I}_{\{\text{tp}\}}(\mathbb{V})}{\text{I}_{\{\text{fp}\}}(\mathbb{V}) + \text{I}_{\{\text{fn}\}}(\mathbb{V}) + 2\text{I}_{\{\text{tp}\}}(\mathbb{V})}$ 计算汇总层级的调和平均类F值。
• 实现一种算法，直接从每段视频的计数中计算汇总指标，无需重新处理数据，从而保证计算效率。

实验结果

研究问题

• RQ1 在多视频上对性能指标进行算术平均是否会破坏精确率、召回率与F值之间的内在关系？
• RQ2 理论上一致的总结方法是否能保持ROC与PR空间之间的双射关系？
• RQ3 总结方法的选择如何影响背景减除算法的排名？
• RQ4 基于概率的总结框架是否能提升多视频评估中的解释性与一致性？

主要发现

• 基于算术平均的传统CDNET流程导致F值不一致：F值的算术平均为0.69，而平均精确率与召回率的调和平均为0.75，表明存在根本性不一致。
• 算术平均破坏了ROC与PR空间之间的双射关系，可能导致PR空间中出现不可实现的性能点。
• 所提出的方法在汇总层级保持了性能指标之间的数学关系，确保了不同评估空间之间的一致性。
• 在CDNET 2014上，新总结方法改变了算法排名：例如，IUTIS-5从第2名降至第3名，而WisenetMD从第4名降至第10名，表明对相对性能评估有显著影响。
• 新方法在ROC与PR空间中均产生一致结果，无不可实现的性能点，而CDNET流程则存在此类问题。
• 所提算法仅通过每段视频的计数即可高效计算汇总指标，无需重新处理整个数据集。