[论文解读] Spot the Difference by Object Detection

Junhui Wu, Yun Ye+2 more|arXiv (Cornell University)|Jan 3, 2018

Advanced Image and Video Retrieval Techniques参考文献 21被引用 4

一句话总结

本文提出一种基于目标检测的新方法，通过将两张对齐的图像（数字设计图与印刷照片）堆叠为6通道输入，将差异视为可检测对象，实现对数字设计与印刷照片之间局部差异的精准识别。该方法采用早期融合的Faster R-CNN主干网络，并利用合成生成的训练数据，在模型压缩后实现24倍推理加速，准确率高，优于基于验证的方法，且仅需弱标签数据。

ABSTRACT

In this paper, we propose a simple yet effective solution to a change detection task that detects the difference between two images, which we call "spot the difference". Our approach uses CNN-based object detection by stacking two aligned images as input and considering the differences between the two images as objects to detect. An early-merging architecture is used as the backbone network. Our method is accurate, fast and robust while using very cheap annotation. We verify the proposed method on the task of change detection between the digital design and its photographic image of a book. Compared to verification based methods, our object detection based method outperforms other methods by a large margin and gives extra information of location. We compress the network and achieve 24 times acceleration while keeping the accuracy. Besides, as we synthesize the training data for detection using weakly labeled images, our method does not need expensive bounding box annotation.

研究动机与目标

• 解决在数字书本设计与实际印刷照片之间检测细微、局部差异的挑战，此类差异对商业合规性至关重要，但人工验证困难。
• 克服传统验证方法的局限性，后者侧重全局特征，忽略如文字或图案变化等小而关键的局部差异。
• 开发一种鲁棒且可扩展的解决方案，通过使用弱标签图像对而非昂贵的边界框标注，显著降低标注成本。
• 通过模型压缩实现高推理速度与高准确率，同时在真实世界数据上保持良好性能。

提出的方法

• 将两张对齐的RGB图像（数字设计图与照片）堆叠为单个6通道输入张量，以实现两幅图像间的联合特征学习。
• 采用早期融合的卷积神经网络架构，在初始卷积层即融合两幅图像分支的特征，以共享计算并提升效率。
• 采用Faster R-CNN作为检测框架，其中区域建议由区域建议网络（RPN）生成，差异被视作可检测对象。
• 通过三种类型的扰动合成训练数据：将一幅图像的图像块复制到另一幅图像（有或无对齐），以及使用图像对整体作为差异示例。
• 在无需边界框标注的合成数据上进行模型训练，仅依赖指示图像是否不同的弱标签。
• 应用模型压缩技术，减小网络规模，实现24倍推理加速，同时保持检测准确率。

实验结果

研究问题

• RQ1 目标检测能否有效适应于检测两幅图像之间细微且视觉嘈杂的局部差异，即使差异非常微弱？
• RQ2 与传统验证方法（如孪生网络、Fisher向量编码）相比，基于检测的方法在检测书封面图像中微小但有意义的差异时表现如何？
• RQ3 在无需昂贵边界框标注的情况下，基于合成数据训练的检测模型在真实世界、嘈杂的摄影图像上泛化能力如何？
• RQ4 在实时工业应用环境中，模型压缩能否显著提升推理速度而不降低检测准确率？

主要发现

• 所提出的基于目标检测的方法在检测书封面图像的局部差异方面，优于基于验证的方法，如Fisher向量编码、孪生网络和6通道分类方法。
• 模型经压缩后推理速度提升24倍，同时保持高准确率，适用于产线上的实时部署。
• 通过弱标签图像对生成的合成训练数据（无需边界框）在合成数据和真实世界测试数据上均实现了有效的检测性能。
• 该方法能有效忽略无关的视觉噪声（如光照变化、色彩偏移、轻微污渍），将其视为背景，同时准确检测出有意义的差异（如文字或图案变化）。
• 误检主要出现在涉及反光材料、微小位移或非印刷但粘贴的元素等情形，这些情况在视觉上不同但无商业意义。
• 漏检主要发生在差异过于细微、人眼难以察觉时，或当黑色边距被误分类为背景时，或图像错位导致检测置信度下降时。