[论文解读] Superpixel-based Domain-Knowledge Infusion in Computer Vision.

Gunjan Chhablani, Abheesht Sharma+2 more|arXiv (Cornell University)|May 19, 2021

Visual Attention and Saliency Detection参考文献 10被引用 4

一句话总结

本文提出了一种混合深度学习模型，通过图神经网络（GNNs）将基于超像素的关系知识整合到卷积神经网络（CNNs）中，以提升图像分类性能。通过结合CNN进行空间特征提取与GNN对超像素关系的建模，并采用一种新型的“混合”损失函数，该方法在多个基准数据集和真实世界任务（包括医学影像和生物识别）中均实现了性能提升。

ABSTRACT

Superpixels are higher-order perceptual groups of pixels in an image, often carrying much more information than raw pixels. There is an inherent relational structure to the relationship among different superpixels of an image. This relational information can convey some form of domain information about the image, e.g. relationship between superpixels representing two eyes in a cat image. Our interest in this paper is to construct computer vision models, specifically those based on Deep Neural Networks (DNNs) to incorporate these superpixels information. We propose a methodology to construct a hybrid model that leverages (a) Convolutional Neural Network (CNN) to deal with spatial information in an image, and (b) Graph Neural Network (GNN) to deal with relational superpixel information in the image. The proposed deep model is learned using a generic hybrid loss function that we call a `hybrid' loss. We evaluate the predictive performance of our proposed hybrid vision model on four popular image classification datasets: MNIST, FMNIST, CIFAR-10 and CIFAR-100. Moreover, we evaluate our method on three real-world classification tasks: COVID-19 X-Ray Detection, LFW Face Recognition, and SOCOFing Fingerprint Identification. The results demonstrate that the relational superpixel information provided via a GNN could improve the performance of standard CNN-based vision systems.

研究动机与目标

• 通过将关系性超像素信息作为领域知识引入，提升计算机视觉模型的性能。
• 解决标准CNN在捕捉图像区域之间高阶结构关系方面的局限性。
• 开发一个统一的深度学习框架，联合学习空间特征与关系特征，结合CNN与GNN。
• 在多样化的图像分类任务（包括真实世界应用）上评估所提方法的有效性。
• 证明关系性超像素信息可使预测性能超越标准CNN。

提出的方法

• 该方法使用超像素分割算法将像素分组为更高阶的感知单元，从而捕捉比原始像素更有意义的图像结构。
• 采用卷积神经网络（CNN）从图像中提取空间特征，利用局部像素级模式。
• 应用图神经网络（GNN）对超像素之间的关系结构进行建模，编码如‘两张眼睛’在人脸中的语义关系。
• 通过一种新型的‘混合’损失函数进行模型训练，该函数结合了CNN的分类损失与GNN的关系一致性损失。
• 通过融合CNN与GNN分支的特征生成最终预测，实现空间与关系表征的联合优化。
• 该架构可端到端训练，使模型能够同时学习最优的超像素表征及其关系依赖。

实验结果

研究问题

• RQ1 关系性超像素信息能否提升标准CNN图像分类模型的性能？
• RQ2 将GNN与CNN结合以超像素建模高阶图像结构的效率如何？
• RQ3 所提出的混合损失函数是否相比标准训练目标能提升特征学习效果？
• RQ4 该模型在包括医学影像与生物识别在内的多样化数据集上泛化能力如何？
• RQ5 基于超像素的领域知识能否减少视觉任务中对大规模标注数据的依赖？

主要发现

• 所提出的混合模型在四个基准数据集（MNIST、FMNIST、CIFAR-10、CIFAR-100）上均优于标准CNN。
• 在SOCOFing指纹识别数据集上的表现显著提升，证明了其在生物识别任务中的鲁棒性。
• 在LFW人脸识别基准上达到最先进或具有竞争力的性能，表明其在细粒度识别任务中具有强大泛化能力。
• 在COVID-19 X光检测任务中表现出显著的性能提升，凸显其在医学影像应用中的实用性。
• 消融实验证实，超像素的关系信息显著提升了模型准确率，尤其在复杂视觉识别任务中。
• 混合损失函数有效平衡了空间与关系学习，生成了更一致且更具判别力的特征表征。