[论文解读] Towards Benchmarking Scene Background Initialization

Lucia Maddalena, Alfredo Petrosino|arXiv (Cornell University)|Jun 12, 2015

Video Surveillance and Tracking Methods参考文献 10被引用 33

一句话总结

本文提出了SBI数据集，这是一个用于场景背景初始化的基准数据集，包含七个经过真实标注的视频序列及标准化的评估指标，可实现对背景初始化方法的公平比较。研究发现，采用选择性像素选取的基于区域或混合的方法优于其他方法，且pEPs和MS-SSIM是评估性能最具有指示性的指标，尤其在静态或杂乱前景等挑战性条件下表现突出。

ABSTRACT

Given a set of images of a scene taken at different times, the availability of an initial background model that describes the scene without foreground objects is the prerequisite for a wide range of applications, ranging from video surveillance to computational photography. Even though several methods have been proposed for scene background initialization, the lack of a common groundtruthed dataset and of a common set of metrics makes it difficult to compare their performance. To move first steps towards an easy and fair comparison of these methods, we assembled a dataset of sequences frequently adopted for background initialization, selected or created ground truths for quantitative evaluation through a selected suite of metrics, and compared results obtained by some existing methods, making all the material publicly available.

研究动机与目标

• 为解决视频分析中背景初始化缺乏标准化数据集和评估指标的问题。
• 实现对现有及未来背景初始化方法的公平且可复现的比较。
• 识别背景初始化中的关键挑战，特别是与前景物体特性（如速度和大小）相关的挑战。
• 使用统一的指标套件在共同数据集上评估多种背景初始化方法的性能。
• 确定哪些方法论路径——如基于区域、递归或混合方案——能获得最准确的结果。

提出的方法

• 从文献中频繁使用的七个公开视频序列中构建SBI数据集，选择标准以确保其在背景初始化任务中的代表性。
• 通过从无前景物体的帧中选取或拼接非遮挡背景区域，人工精心制作真实背景图像。
• 选取八项标准指标——AGE、EPs、pEPs、CEPs、pCEPs、MS-SSIM、PSNR和CQM——用于定量评估背景估计的准确性。
• 在SBI数据集上使用定义的指标评估多种背景初始化方法，通过公开发布数据和工具确保可复现性。
• 计算每段序列的指标中位数，以对序列难度进行排序，并评估方法在不同条件下的鲁棒性。
• 通过视觉和定量分析比较方法性能，重点关注静态或大尺寸前景物体带来的挑战。

实验结果

研究问题

• RQ1 哪些场景条件对背景初始化方法最具挑战性，它们如何影响性能？
• RQ2 基于区域、递归或混合的方法中，哪类方法能获得最准确的背景估计？
• RQ3 在所选的八项指标中，哪些最能反映整体背景初始化性能？
• RQ4 静态或大尺寸前景物体的存在如何影响背景估计的准确性？
• RQ5 是否可通过包含真实标注和通用指标的标准化基准，实现对背景初始化方法的公平且可复现的评估？

主要发现

• SBI数据集（包含七个序列及其对应的真实标注）已公开发布，以支持背景初始化方法的可复现基准测试。
• RSL2011和Photomontage在所有序列中表现最佳，尤其在处理大范围杂乱背景和静态前景方面表现卓越。
• 基于区域或混合的方法始终优于其他方法，表明空间与时间上下文信息在背景估计中至关重要。
• 在多帧中进行选择性像素选取是实现高精度的关键因素，无论底层算法方案如何。
• pEPs（误差像素百分比）和MS-SSIM（多尺度结构相似性）与整体方法性能的相关性最强，最能反映任务难度。
• 包含静态或缓慢移动前景的序列（如Snellen和CaVignal）最具挑战性，其中Snellen因前景占据率高且运动少而最为困难。