[论文解读] Weakly Supervised Change Detection in a Pair of Images.

Salman Khan, Xuming He+4 more|arXiv (Cornell University)|Jun 7, 2016

Remote-Sensing Image Classification被引用 3

一句话总结

本文提出了一种弱监督深度学习框架，用于仅使用图像级别标签的图像对变化检测，避免了昂贵的像素级标注。它结合卷积神经网络（CNN）与条件随机场（CRF）以及迭代期望最大化（EM）优化，以学习具有区分性的变化模式，在四个基准数据集上实现了最先进性能，且定位与检测准确率得到提升。

ABSTRACT

Conventional change detection methods require a large number of images to learn background models. The few recent approaches that attempt change detection between two images either use handcrafted features or depend strongly on tedious pixel-level labeling by humans. In this paper, we present a weakly supervised approach that needs only image-level labels to simultaneously detect and localize changes in a pair of images. To this end, we employ a deep neural network with DAG topology to { learn patterns of change} from image-level labeled training data. On top of the initial CNN activations, we define a CRF model to incorporate the local differences and the dense connections between individual pixels. We apply a constrained mean-field algorithm to estimate the pixel-level labels, and use the estimated labels to update the parameters of the CNN in an iterative EM framework. This enables imposing global constraints on the observed foreground probability mass function. Our evaluations on four large benchmark datasets demonstrate superior detection and localization performance.

研究动机与目标

• 解决传统变化检测方法依赖大量像素级标注数据的局限性。
• 仅使用图像级别标签实现精确的变化检测与定位，降低人工标注成本。
• 开发一种从弱监督信号中学习变化模式的深度学习框架。
• 通过EM框架中的迭代参数更新，在优化过程中对前景概率质量函数施加全局约束。
• 在不依赖昂贵像素级标注的前提下，实现在基准数据集上的卓越性能。

提出的方法

• 使用具有有向无环图（DAG）拓扑结构的深度神经网络，从图像级别标注数据中学习变化模式。
• 在CNN激活结果上应用CRF模型，以捕捉局部差异和密集的像素级依赖关系。
• 采用约束型平均场推理算法，从CRF模型中估计像素级标签。
• 通过迭代EM框架交替估计像素级标签与更新CNN参数，以提升特征学习效果。
• 在优化过程中对前景概率质量函数施加全局约束，以增强定位准确率。
• 联合优化特征学习与标签估计，利用图像级别标注提供的弱监督信号。

实验结果

研究问题

• RQ1 是否可以仅使用图像级别标签而非像素级标注，有效实现变化检测？
• RQ2 在弱监督深度学习框架中，如何有效建模局部像素级差异？
• RQ3 对前景概率分布施加全局约束是否能改善变化定位？
• RQ4 将CRF与CNN及EM优化相结合，是否能优于现有弱监督方法？
• RQ5 所提出方法在多样化变化检测基准上的泛化能力如何？

主要发现

• 所提方法在四个大规模基准数据集上的变化检测任务中达到最先进性能。
• 通过仅依赖图像级别标签，显著减少了对昂贵像素级标注的需求。
• CRF与CNN及EM优化的结合，通过建模密集的像素级关系，提升了定位准确率。
• 迭代EM框架有效优化了特征学习与标签估计，从而提升了整体检测性能。
• 在基准评估中，该方法在多样化图像对与变化场景下表现出稳健的泛化能力。
• 对前景概率质量函数施加全局约束，使得变化图更加连贯且准确。