[论文解读] Radio Galaxy Zoo: Using semi-supervised learning to leverage large unlabelled data-sets for radio galaxy classification under data-set shift

Inigo Val Slijepcevic, Anna M. M. Scaife+5 more|arXiv (Cornell University)|Apr 19, 2022

Galaxies: Formation, Evolution, Phenomena参考文献 61被引用 33

一句话总结

本文评估了在射电星系分类任务中使用FixMatch进行半监督学习（SSL）的效果，结果表明：在标签数据有限时，SSL可提升准确率，但在数据分布发生偏移时表现不佳。尽管正则化带来一定优势，但当无标签数据来自不同星表时，由于类别不平衡和先验概率偏移，性能显著下降，限制了SSL在真实场景中的实用性，除非进行领域特定的适应。

ABSTRACT

In this work we examine the classification accuracy and robustness of a state-of-the-art semi-supervised learning (SSL) algorithm applied to the morphological classification of radio galaxies. We test if SSL with fewer labels can achieve test accuracies comparable to the supervised state-of-the-art and whether this holds when incorporating previously unseen data. We find that for the radio galaxy classification problem considered, SSL provides additional regularisation and outperforms the baseline test accuracy. However, in contrast to model performance metrics reported on computer science benchmarking data-sets, we find that improvement is limited to a narrow range of label volumes, with performance falling off rapidly at low label volumes. Additionally, we show that SSL does not improve model calibration, regardless of whether classification is improved. Moreover, we find that when different underlying catalogues drawn from the same radio survey are used to provide the labelled and unlabelled data-sets required for SSL, a significant drop in classification performance is observered, highlighting the difficulty of applying SSL techniques under dataset shift. We show that a class-imbalanced unlabelled data pool negatively affects performance through prior probability shift, which we suggest may explain this performance drop, and that using the Frechet Distance between labelled and unlabelled data-sets as a measure of data-set shift can provide a prediction of model performance, but that for typical radio galaxy data-sets with labelled sample volumes of O(1000), the sample variance associated with this technique is high and the technique is in general not sufficiently robust to replace a train-test cycle.

研究动机与目标

• 评估在仅使用少量标注数据的情况下，半监督学习（SSL）是否能实现与监督学习相当的射电星系形态分类性能。
• 研究数据集偏移（特别是标注数据与无标签数据分布之间的差异）对SSL性能的影响。
• 评估SSL是否能提升模型对未见数据的校准能力或泛化能力，特别是当无标签数据来自不同巡天星表时。
• 测试弗雷歇距离（Frechet Distance）作为协变量偏移下SSL模型性能预测指标的适用性。
• 识别半监督学习在射电天文中的关键失效模式，例如无标签数据中的类别不平衡以及数据分布对齐不佳的问题。

提出的方法

• 将FixMatch SSL算法应用于射电星系图像，通过弱增强和强增强生成无标签数据的伪标签。
• 在小规模标注数据集（MiraBest）和大规模无标签数据集（RGZ DR1）上训练卷积神经网络（CNN），并利用增强视图之间的一致性正则化。
• 使用标注数据与无标签数据分布之间的弗雷歇距离作为数据分布偏移的代理指标，衡量分布差异。
• 在两种情形下比较模型性能：情形A（数据分布匹配）和情形B（来自不同星表的分布不匹配）。
• 通过期望校准误差（ECE）评估模型校准性，并在与标注数据分布相同的测试集上评估性能。
• 通过分析标签选择与数据选择对模型性能的影响，隐式应用主动学习原则。

实验结果

研究问题

• RQ1 当仅有少量标注样本时，半监督学习能否实现与监督学习相当的测试准确率？
• RQ2 当无标签数据来自与标注数据不同的基础星表时，性能如何退化，即引入了数据集偏移？
• RQ3 即使分类准确率提升，半监督学习是否能改善模型的校准性？
• RQ4 标注数据与无标签数据分布之间的弗雷歇距离能否预测半监督学习中的模型性能？
• RQ5 无标签数据集中类别不平衡在多大程度上导致了数据分布偏移下的性能退化？

主要发现

• 在标签数量较少时，使用FixMatch的半监督学习可提升测试准确率，但仅在标签数量的狭窄范围内有效。
• 在标签数量极低时，性能迅速下降，表明对极稀疏标注的收益有限。
• 尽管准确率有所提升，但模型的校准性未见改善，表明不确定性估计仍不可靠。
• 当无标签数据来自不同星表时（情形B），性能出现显著下降，表明数据分布偏移具有强烈负面影响。
• 无标签数据集中的类别不平衡导致先验概率偏移，是数据分布偏移下性能退化的关键驱动因素。
• 弗雷歇距离与测试准确率相关，可用于指导无标签数据的选择，但样本方差较高，限制了其作为完整训练-测试循环替代方案的可靠性。