[论文解读] Over-sampling De-occlusion Attention Network for Prohibited Items Detection in Noisy X-ray Images

Renshuai Tao, Yanlu Wei+5 more|arXiv (Cornell University)|Mar 1, 2021

Advanced Neural Network Applications参考文献 43被引用 15

一句话总结

本文提出 DOAM-O，一种新颖的过采样去遮挡注意力网络，用于在噪声大、严重遮挡的X射线图像中检测违禁物品。通过整合利用边缘和材质感知特征的去遮挡注意力模块（DOAM），并采用针对高遮挡样本的过采样策略，该模型在新提出的 OPIXray 数据集上显著提升了目标检测性能，优于 SSD、YOLOv3 和 FCOS 等当前最先进检测器。

ABSTRACT

Security inspection is X-ray scanning for personal belongings in suitcases, which is significantly important for the public security but highly time-consuming for human inspectors. Fortunately, deep learning has greatly promoted the development of computer vision, offering a possible way of automatic security inspection. However, items within a luggage are randomly overlapped resulting in noisy X-ray images with heavy occlusions. Thus, traditional CNN-based models trained through common image recognition datasets fail to achieve satisfactory performance in this scenario. To address these problems, we contribute the first high-quality prohibited X-ray object detection dataset named OPIXray, which contains 8885 X-ray images from 5 categories of the widely-occurred prohibited item ``cutters''. The images are gathered from an airport and these prohibited items are annotated manually by professional inspectors, which can be used as a benchmark for model training and further facilitate future research. To better improve occluded X-ray object detection, we further propose an over-sampling de-occlusion attention network (DOAM-O), which consists of a novel de-occlusion attention module and a new over-sampling training strategy. Specifically, our de-occlusion module, namely DOAM, simultaneously leverages the different appearance information of the prohibited items; the over-sampling training strategy forces the model to put more emphasis on these hard samples consisting these items of high occlusion levels, which is more suitable for this scenario. We comprehensively evaluated DOAM-O on the OPIXray dataset, which proves that our model can stably improve the performance of the famous detection models such as SSD, YOLOv3, and FCOS, and outperform many extensively-used attention mechanisms.

研究动机与目标

• 为解决机场安检中常见的噪声大、严重遮挡X射线图像中违禁物品检测的挑战。
• 克服传统基于CNN的模型在标准数据集上训练后在高遮挡条件下失效的局限性。
• 构建一个高质量、逼真的基准数据集，用于遮挡违禁物品检测的安检场景。
• 开发一种新型深度学习模型，通过注意力机制和困难样本重训练，增强遮挡物体的特征表示。
• 建立一种新的范式，用于在低质量、真实世界成像场景中实现对遮挡的鲁棒目标检测。

提出的方法

• 提出一种即插即用的去遮挡注意力模块（DOAM），通过融合输入特征中的边缘和区域信息，对特征图进行优化。
• 引入边缘引导（EG）模块，通过优化损失函数以突出边缘特征，提升对物体边界的注意力。
• 采用材质感知（MA）模块，利用门控卷积网络根据池化尺寸自适应选择区域特征，增强材质特定的表征能力。
• 应用过采样训练策略，专门对高遮挡程度的困难样本进行重训练，以提升模型泛化能力。
• 使用 Grad-CAM 和注意力图可视化方法，解释并验证注意力机制在突出目标物体方面的有效性。
• 构建了 OPIXray 数据集，包含 8,885 张来自机场专业安检人员手动标注的五类切割工具真实X射线图像。

实验结果

研究问题

• RQ1 如何改进深度学习模型，以在严重遮挡和噪声较大的X射线图像中检测违禁物品？
• RQ2 边缘和材质感知特征在增强遮挡物体检测的特征表征方面发挥什么作用？
• RQ3 对困难样本（高度遮挡物品）进行过采样是否能提升低质量X射线图像中的检测性能？
• RQ4 所提出的 DOAM 模块在特征优化和定位精度方面与现有注意力机制相比表现如何？
• RQ5 OPIXray 数据集在多大程度上可作为评估遮挡违禁物品检测模型的可靠基准？

主要发现

• DOAM-O 模型在 SSD、YOLOv3 和 FCOS 上均持续优于基线模型，所有指标均有提升，当在 MA 模块中使用门控卷积网络时，性能最高提升达 0.9%。
• 与简单拼接边缘和输入特征相比，边缘引导（EG）模块使性能提升 0.43%，证明其在强调结构细节方面的有效性。
• 在仅使用 EG 模块的基础上，材质感知（MA）模块进一步使性能提升 0.37%，证实材质特定的特征聚合可增强检测精度。
• Grad-CAM 可视化显示，集成 DOAM 的网络在目标物体上生成了更聚焦、更完整的注意力掩码，优于基线 VGG16 网络。
• 注意力图可视化结果表明，DOAM 能够准确突出物体边界和区域，尤其在遮挡切割工具上表现优异，验证了其去遮挡能力。
• OPIXray 数据集包含 8,885 张五类切割工具的真实X射线图像，为未来遮挡违禁物品检测研究提供了高质量基准。