[论文解读] Multiple instance learning with graph neural networks

Ming Tu, Jing Huang+2 more|arXiv (Cornell University)|Jun 12, 2019

Image Retrieval and Classification Techniques参考文献 15被引用 55

一句话总结

本文提出一种新颖的端到端图神经网络（GNN）方法用于多实例学习，将每个包视为图，通过GNN学习包嵌入，并使用可微分池化或注意力机制来获得用于包级分类的固定大小表示，在多个MIL基准数据集上达到最新的性能，同时保持可解释性。

ABSTRACT

Multiple instance learning (MIL) aims to learn the mapping between a bag of instances and the bag-level label. In this paper, we propose a new end-to-end graph neural network (GNN) based algorithm for MIL: we treat each bag as a graph and use GNN to learn the bag embedding, in order to explore the useful structural information among instances in bags. The final graph representation is fed into a classifier for label prediction. Our algorithm is the first attempt to use GNN for MIL. We empirically show that the proposed algorithm achieves the state of the art performance on several popular MIL data sets without losing model interpretability.

研究动机与目标

• 以从多实例中学习包标签为动机来推动MIL，并将包内实例之间的关系结构纳入考量。
• 提出将每个MIL包转换为图并使用GNN学习包嵌入。
• 开发使用可微分池化（及注意力变体）的端到端架构，以生成用于分类的固定大小的图嵌入。
• 在标准MIL数据集上证明优越性能，并通过学习得到的分配矩阵来展示对关键实例的可解释性。

提出的方法

• 将每个实例包转换为使用距离阈值形成边的无向图。
• 应用GNN计算图中节点嵌入（GNN_embd）。
• 使用可微分池化将图粗化为固定大小的表示（GNN_cluster和pooling），从而形成包嵌入。
• 可选地在粗化后的图上应用第二层GNN（GNN_embd2），随后进行池化（最大池化或连接）以形成最终的图嵌入。
• 将图嵌入输入到多层感知机（MLP）分类器以进行包级预测；通过在中间阶段添加辅助损失实现深度监督。
• 提供一个基线的基于注意力的图聚合变体（在节点嵌入Z_i上进行注意）以形成包嵌入。

实验结果

研究问题

• RQ1 将MIL包视为图并应用GNN是否可以在包级分类精度方面超越传统的独立同分布（i.i.d.）实例方法？
• RQ2 可微分池化是否提供更好的包表示并实现对包内决定性实例的可解释识别？
• RQ3 在具有图结构的MIL中，基于注意力的图聚合与可微分池化相比有何差异？

主要发现

• 提出的基于GNN的MIL方法在五个MIL基准数据集上相对于多种基线（mi-Graph、MI-Net、MI-Net with DS、Attention-MIL、Attention-MIL with gating）具有更高的平均准确率，Ours在MUSK1上为0.917±0.048，在MUSK2上为0.892±0.011，在FOX上为0.679±0.007，在TIGER上为0.876±0.015，在ELEPHANT上为0.903±0.010。
• 在文本分类任务中，该方法在MI-Graph和MI-Net变体上具有竞争性优势，且在各数据集上平均有改进。
• 在视网膜图像（Messidor）实验中，使用图输入的该方法（Ours-DP）达到74.2%的准确性和0.77的F1，优于若干非图MIL方法。
• 可微分池化方法通过学习的分配矩阵提供热力图，能够识别决定性实例并保持可解释性。
• 基于图的MIL在包内实例之间结构的引入方面持续受益，支持“包内非独立同分布关系”能提升性能的观点。