[论文解读] PK-GCN: Prior Knowledge Assisted Image Classification using Graph Convolution Networks

Xueli Xiao, Chunyan Ji+2 more|arXiv (Cornell University)|Sep 24, 2020

Advanced Graph Neural Networks参考文献 41被引用 4

一句话总结

本文提出PK-GCN，一种图卷积网络框架，通过从验证数据中的误分类模式中提取类别相似性知识，提升图像分类性能。通过构建有向误分类图，并采用两阶段训练过程将该图与CNN特征融合，PK-GCN显著提升了分类准确率，尤其在低数据量场景下表现突出，在CIFAR-10上最高实现2.55%的绝对准确率提升，在MNIST上实现1.56%的提升，且训练数据有限。

ABSTRACT

Deep learning has gained great success in various classification tasks. Typically, deep learning models learn underlying features directly from data, and no underlying relationship between classes are included. Similarity between classes can influence the performance of classification. In this article, we propose a method that incorporates class similarity knowledge into convolutional neural networks models using a graph convolution layer. We evaluate our method on two benchmark image datasets: MNIST and CIFAR10, and analyze the results on different data and model sizes. Experimental results show that our model can improve classification accuracy, especially when the amount of available data is small.

研究动机与目标

• 通过将类别间相似性知识融入深度学习模型，提升多分类图像分类的准确率。
• 解决标准CNN在训练过程中忽略类别间关系的局限性。
• 开发一种从数据本身提取类别相似性的方法，避免依赖外部知识或预训练嵌入。
• 在不同数据量和模型规模下评估先验知识融合的有效性，以识别最优应用场景。
• 证明类别相似性信息可显著提升模型性能，尤其在训练数据稀缺时。

提出的方法

• 从验证集预测结果构建有向误分类图，其中边表示某一类别被误分类为另一类别的频率。
• 利用训练好的基础CNN从最后一层全连接层的权重中提取类别嵌入，表示每个类别的学习特征表示。
• 应用图卷积网络（GCN）层，利用误分类图作为图结构，传播并优化类别嵌入。
• 实施两阶段训练流程：首先预训练基础CNN，然后通过将原始CNN输出与GCN处理后的类别相似性特征融合，对模型进行微调。
• 使用可学习的加权组合方式融合原始模型的logits与GCN预测的logits，以提升最终分类得分。
• 使用AdaDelta优化器训练完整模型，并在所有实验中保持一致的超参数，以确保公平比较。

实验结果

研究问题

• RQ1 从误分类模式中提取的类别相似性知识是否能提升低数据量场景下的图像分类准确率？
• RQ2 图神经网络学习到的类别关系整合方式如何影响不同数据量和模型规模下的模型性能？
• RQ3 当训练数据有限时，所提出方法是否优于标准CNN，提升幅度如何？
• RQ4 PK-GCN的性能增益是否在不同架构（如简单CNN与VGG-11）和不同数据集（如MNIST与CIFAR-10）间保持一致？
• RQ5 一种基于数据驱动、自包含的类别相似性学习方法是否能优于依赖外部语义嵌入的方法？

主要发现

• 在仅使用300个样本训练时，PK-GCN在MNIST上的分类准确率最高提升1.56个百分点，表明在低数据条件下具有显著增益。
• 在CIFAR-10上，当仅使用1,000个样本训练时，PK-GCN-2相比基础VGG-11模型实现2.55%的绝对准确率提升。
• 性能提升在较小训练集上最为显著，表明PK-GCN能有效缓解数据稀缺问题。
• 该方法在多种模型架构和数据集上均一致提升准确率，即使基础模型本身已表现良好，仍可观测到性能增益。
• 两阶段训练策略有效结合了学习到的特征与类别关系信息，PK-GCN-2在所有设置下普遍优于PK-GCN-1。
• 性能增益在不同数据划分和模型深度下保持稳定，证实该方法对不同数据和架构配置具有鲁棒性。