[论文解读] Regional based query in graph active learning

Roy Abel, Yoram Louzoun|arXiv (Cornell University)|Jun 20, 2019

Advanced Graph Neural Networks参考文献 42被引用 6

一句话总结

本文提出了一种基于区域的图卷积网络（GCN）主动学习方法，引入了区域不确定性和自适应PageRank作为查询策略，利用邻域信息以提升标签效率。实验表明，与最先进方法相比，该方法在低标注预算下表现更优——在Cora数据集上准确率最高提升3.5%，在CiteSeer上提升1.5%，且自适应PageRank在标注率低于5%时达到最佳性能。

ABSTRACT

Graph convolution networks (GCN) have emerged as the leading method to classify node classes in networks, and have reached the highest accuracy in multiple node classification tasks. In the absence of available tagged samples, active learning methods have been developed to obtain the highest accuracy using the minimal number of queries to an oracle. The current best active learning methods use the sample class uncertainty as selection criteria. However, in graph based classification, the class of each node is often related to the class of its neighbors. As such, the uncertainty in the class of a node's neighbor may be a more appropriate selection criterion. We here propose two such criteria, one extending the classical uncertainty measure, and the other extending the page-rank algorithm. We show that the latter is optimal when the fraction of tagged nodes is low, and when this fraction grows to one over the average degree, the regional uncertainty performs better than all existing methods. While we have tested this methods on graphs, such methods can be extended to any classification problem, where a distance metrics can be defined between the input samples. All the code used can be accessed at : https://github.com/louzounlab/graph-al All the datasets used can be accessed at : https://github.com/louzounlab/DataSets

研究动机与目标

• 通过在查询选择中引入拓扑关系，解决标准主动学习在图结构数据中效率低下的问题。
• 克服节点级不确定性采样方法的局限性，后者无法有效利用连通节点间的标签传播效应。
• 提出面向区域的查询策略，通过聚焦局部邻域内的高不确定性区域，提升标签效率。
• 证明在低采样比例下，区域主动学习为最优策略，此时信息传播最为关键。
• 提供一种可泛化的框架，适用于任何具有定义距离度量的分类任务，不限于图结构。

提出的方法

• 提出一种区域不确定性度量方法，通过聚合节点邻域内的局部预测不确定性，将每节点的不确定性替换为区域不确定性。
• 引入一种基于自适应PageRank的查询策略，识别最可能将标签信息传播至未探索区域的节点。
• 将区域不确定性形式化为局部邻域内预测标签熵的函数，使用固定半径或k-近邻图。
• 将区域查询标准整合进GCN训练流程，每次经由Oracle查询后重新训练模型，以优化不确定性估计。
• 采用结合区域不确定性与密度加权的混合查询策略，避免对孤立或冗余节点进行查询。
• 通过图邻近性（边或k-最近邻）定义区域，使方法能超越显式图结构，利用距离度量实现泛化。

实验结果

研究问题

• RQ1 与节点级不确定性采样相比，区域不确定性度量是否能提升图结构数据中主动学习的性能？
• RQ2 在何种标注预算下，区域主动学习在GCN中优于传统基于不确定性的方法？
• RQ3 在低数据场景下，基于自适应PageRank的采样策略与标准不确定性采样及代表性采样相比表现如何？
• RQ4 随着标注节点比例的增加，从区域查询转向局部查询的最优转换点是什么？
• RQ5 所提出的区域主动学习框架能否推广至使用距离度量的非图分类任务？

主要发现

• 区域熵查询策略在Cora上达到81.4%的准确率，在CiteSeer上达到69.1%，优于所有基线方法，包括Chang et al.和ALFNET。
• 自适应PageRank（APR）在Cora上达到82.7%的最高准确率，在CiteSeer上达到70.5%，且在低采样率（低于5%）下显著优于随机采样和节点级不确定性采样。
• 基于区域边际的方法在Cora上达到82.7%的准确率，在CiteSeer上达到70.5%，表明区域不确定性比节点级不确定性更具信息量。
• 区域方法的性能增益在低采样比例下最为显著；当标注比例超过5%后，平均到已采样节点的距离趋于平稳，表明区域定位的收益递减。
• 对邻居概率取平均的效果甚至劣于随机采样，而对区域内局部不确定性的聚合则带来了显著的性能提升。
• 区域主动学习框架具有泛化能力：任何具有定义距离度量的分类任务均可从基于区域的查询选择中受益。