[论文解读] Unsupervised Pixel-level Road Defect Detection via Adversarial Image-to-Frequency Transform

Jongmin Yu, Du Yong Kim+2 more|arXiv (Cornell University)|Jan 30, 2020

Infrastructure Maintenance and Monitoring参考文献 32被引用 4

一句话总结

该论文提出对抗性图像到频域变换（AIFT），一种无监督的像素级道路缺陷检测方法，利用对抗学习将图像映射到频域，而无需缺陷标注。仅在正常道路图像上进行训练，AIFT在多个基准数据集上实现了最先进性能，在大多数情况下优于有监督和无监督方法，在GAPs384上比之前最先进方法提升3%，在Cracktree200上提升8.8%。

ABSTRACT

In the past few years, the performance of road defect detection has been remarkably improved thanks to advancements on various studies on computer vision and deep learning. Although a large-scale and well-annotated datasets enhance the performance of detecting road pavement defects to some extent, it is still challengeable to derive a model which can perform reliably for various road conditions in practice, because it is intractable to construct a dataset considering diverse road conditions and defect patterns. To end this, we propose an unsupervised approach to detecting road defects, using Adversarial Image-to-Frequency Transform (AIFT). AIFT adopts the unsupervised manner and adversarial learning in deriving the defect detection model, so AIFT does not need annotations for road pavement defects. We evaluate the efficiency of AIFT using GAPs384 dataset, Cracktree200 dataset, CRACK500 dataset, and CFD dataset. The experimental results demonstrate that the proposed approach detects various road detects, and it outperforms existing state-of-the-art approaches.

研究动机与目标

• 解决道路缺陷数据集中真实世界多样性有限的问题，该问题阻碍了有监督模型的泛化能力。
• 克服基于重建的无监督方法的局限性，后者可能因对未见模式过拟合而无法检测缺陷。
• 通过对抗学习开发一种鲁棒的、无标注的检测方法，以应对不同条件下多样的道路缺陷。
• 通过在图像与频域空间之间进行域变换，提升检测可靠性，增强模型泛化能力，且无需真实标签。

提出的方法

• 使用对抗学习训练一个生成模型，将正常道路图像映射到频域，包含一个生成器G和两个判别器（DI和DF）。
• 实施循环一致性损失，以确保频域到图像和图像到频域的重建保持结构完整性。
• 使用结合对抗损失、循环一致性损失和感知损失的总损失，联合优化生成器和判别器。
• 通过测量重建不一致性来检测缺陷：图像到频域或频域到图像循环中误差较高的区域表示潜在缺陷。
• 在重建误差图上应用基于阈值的异常检测机制，实现缺陷定位，无需任何像素级标注。
• 利用频域表示增强特征区分能力，使模型对光照和天气变化具有鲁棒性。

Figure 1 : Architectural detail of the adversarial image-to-frequency transform. The blue objects denote the operation units including the generator $G$ and the discriminators $\mathcal{D}^{I}$ and $\mathcal{D}^{F}$ . The red circles indicate the loss functions corresponded to the each operation uni

实验结果

研究问题

• RQ1 在图像到频域的对抗学习是否能超越基于重建的方法，提升无监督道路缺陷检测性能？
• RQ2 图像与频域空间之间的域变换是否能增强对真实世界变化（如光照和天气）的鲁棒性？
• RQ3 仅在正常道路图像上进行训练的模型是否能检测出多样化的缺陷模式，而无需任何标注的缺陷数据？
• RQ4 在多个基准测试中，AIFT与最先进有监督和无监督方法相比，异常检测性能如何？
• RQ5 与纯基于重建的训练相比，使用对抗损失是否能提升检测的泛化能力？

主要发现

• 在GAPs384数据集上，使用总损失训练的AIFT_total模型取得AIU为0.083、ODS为0.249、OIS为0.247，相比当时最先进方法FPHBN在ODS和OIS上分别提升3%。
• 在Cracktree200数据集上，AIFT_total取得AIU为0.045、ODS为0.607、OIS为0.642，相比之前无监督方法提升8.8%。
• 在CFD数据集上，AIFT_total取得AIU为0.203、ODS为0.701、OIS为0.732，表现优于现有无监督和有监督基线方法。
• AIFT_total在所有数据集上均优于基于重建的AIFT（AIFT_re），证实对抗训练能增强检测的鲁棒性和泛化能力。
• 尽管在CRACK500数据集上未取得最高分（FPHBN以0.489的AIU领先），AIFT_total仍取得0.478的AIU，展现出无需任何标注训练数据的强劲性能。
• 图4中的AIU趋势表明，对抗训练的AIFT模型泛化能力优于基于重建的模型，尤其在检测细微或罕见缺陷模式方面表现更优。

Figure 2 : Structural details of the network models in the generator $G$ and the discriminators $\mathcal{D}^{I}$ and $\mathcal{D}^{F}$ . (a) and (b) denote the structural details of the generator $G$ and the two discriminators $\mathcal{D}^{I}$ and $\mathcal{D}^{F}$ , respectively. The green, blue,