[论文解读] Sequential Graph Convolutional Network for Active Learning

Razvan Caramalau, Binod Bhattarai+1 more|arXiv (Cornell University)|Jun 18, 2020

Machine Learning and Algorithms参考文献 48被引用 7

一句话总结

该论文提出了一种无需任务依赖的主动学习框架，采用序列图卷积网络（GCN）以提升图像分类与回归任务中的样本选择性能。通过将图像特征建模为图节点，并利用基于GCN的消息传递机制识别与已标注样本语义上不同的未标注样本，该方法在6个基准数据集上实现了最先进性能，涵盖真实与合成图像数据集以及3D手部姿态估计任务。

ABSTRACT

We propose a novel pool-based Active Learning framework constructed on a sequential Graph Convolution Network (GCN). Each image's feature from a pool of data represents a node in the graph and the edges encode their similarities. With a small number of randomly sampled images as seed labelled examples, we learn the parameters of the graph to distinguish labelled vs unlabelled nodes by minimising the binary cross-entropy loss. GCN performs message-passing operations between the nodes, and hence, induces similar representations of the strongly associated nodes. We exploit these characteristics of GCN to select the unlabelled examples which are sufficiently different from labelled ones. To this end, we utilise the graph node embeddings and their confidence scores and adapt sampling techniques such as CoreSet and uncertainty-based methods to query the nodes. We flip the label of newly queried nodes from unlabelled to labelled, re-train the learner to optimise the downstream task and the graph to minimise its modified objective. We continue this process within a fixed budget. We evaluate our method on 6 different benchmarks:4 real image classification, 1 depth-based hand pose estimation and 1 synthetic RGB image classification datasets. Our method outperforms several competitive baselines such as VAAL, Learning Loss, CoreSet and attains the new state-of-the-art performance on multiple applications The implementations can be found here: https://github.com/razvancaramalau/Sequential-GCN-for-Active-Learning

研究动机与目标

• 解决现有任务依赖型主动学习方法在可扩展性方面存在的局限性，并弥补其未能有效利用已标注与未标注数据之间相关性的缺陷。
• 开发一种无需任务依赖的采样机制，利用图像特征的图结构表示，实现更具信息量的主动学习。
• 通过选择相对于当前已标注集既具有多样性又具信息量的未标注样本，在数据稀缺场景下提升模型性能。
• 在包括图像分类、基于深度的3D手部姿态估计以及合成数据子采样在内的多样化任务中，验证所提方法的泛化能力。
• 提供一个统一框架，使GCN采样器可与任意下游学习器集成，而无需为每项任务重新训练采样器。

提出的方法

• 构建一个图结构，其中每个图像的预训练特征嵌入作为节点，边表示基于特征距离的节点间相似性。
• 应用多层GCN执行消息传递，使节点能够聚合邻居信息，生成更高阶的表示，从而将语义上相似的图像聚类。
• 使用二元交叉熵损失训练GCN，以区分已标注与未标注节点，学习反映两类样本差异的图参数。
• 利用GCN生成的节点嵌入及其置信度分数，指导基于不确定性的采样策略和CoreSet类采样策略，以查询最具信息量的未标注样本。
• 将选定的未标注节点标签翻转，使用更新后的已标注集重新训练学习器，并在更新后的图上重新训练GCN，循环执行直至达到固定预算。
• 通过将学习器替换为DeepPrior并保持相同的采样器与图处理流程，将该方法适配至回归任务（如3D手部姿态估计），验证其任务无关性。

实验结果

研究问题

• RQ1 基于图的采样机制是否能通过利用已标注与未标注图像之间的结构关系，提升主动学习性能？
• RQ2 与VAAL和CoreSet等任务特定或任务无关的基线方法相比，基于GCN的采样器在样本效率与最终模型准确率方面表现如何？
• RQ3 所提出的GCN采样器在包括图像分类、回归（3D HPE）以及合成数据子采样在内的多种任务中，其泛化能力达到何种程度？
• RQ4 将GCN节点嵌入中的不确定性估计引入采样过程，是否能比随机采样或基于CoreSet的采样更有效地选择信息量丰富的样本？
• RQ5 GCN采样器是否能有效识别高质量的合成样本用于数据增强，从而减少噪声并提升下游模型性能？

主要发现

• 所提出的UncertainGCN与CoreGCN采样方法在6个基准上均优于多种基线方法（包括VAAL、Learning Loss与CoreSet），实现了最先进性能。
• 在ICVL 3D手部姿态估计数据集上，CoreGCN实现了12.3 mm的最低均方误差，且误差从第二轮到第六轮选择阶段显著下降。
• 在ICVL数据集上，UncertainGCN的误差始终低于CoreSet与随机采样方法，且从第二轮到第五轮选择阶段误差下降更为迅速。
• 在StarGAN生成的合成人脸表情数据上，UncertainGCN实现了更高的平均准确率与更低的方差，证明其在选择高质量合成样本方面的有效性。
• 消融实验表明，基于GCN的采样与基于置信度的不确定性选择均对性能有显著贡献，完整流程优于各消融变体。
• 该方法在多样化任务中保持了强劲性能——包括真实图像分类、基于深度的3D HPE以及合成数据子采样，证实了其任务无关特性与泛化能力。