[论文解读] Robust Deep Semi-Supervised Learning: A Brief Introduction

Lan-Zhe Guo, Zhi Zhou+1 more|arXiv (Cornell University)|Feb 12, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文通过识别并分类未标记数据中的三种关键鲁棒性威胁——分布、特征和标签污染——提出了一套形式化的鲁棒深度半监督学习（SSL）框架。它提出了一个统一的分类体系，并回顾了近期针对这些问题的方法，为在现实世界中存在不完美数据的场景下构建更可靠SSL系统提供了可操作的研究方向。

ABSTRACT

Semi-supervised learning (SSL) is the branch of machine learning that aims to improve learning performance by leveraging unlabeled data when labels are insufficient. Recently, SSL with deep models has proven to be successful on standard benchmark tasks. However, they are still vulnerable to various robustness threats in real-world applications as these benchmarks provide perfect unlabeled data, while in realistic scenarios, unlabeled data could be corrupted. Many researchers have pointed out that after exploiting corrupted unlabeled data, SSL suffers severe performance degradation problems. Thus, there is an urgent need to develop SSL algorithms that could work robustly with corrupted unlabeled data. To fully understand robust SSL, we conduct a survey study. We first clarify a formal definition of robust SSL from the perspective of machine learning. Then, we classify the robustness threats into three categories: i) distribution corruption, i.e., unlabeled data distribution is mismatched with labeled data; ii) feature corruption, i.e., the features of unlabeled examples are adversarially attacked; and iii) label corruption, i.e., the label distribution of unlabeled data is imbalanced. Under this unified taxonomy, we provide a thorough review and discussion of recent works that focus on these issues. Finally, we propose possible promising directions within robust SSL to provide insights for future research.

研究动机与目标

• 解决半监督学习（SSL）中的关键问题：在现实世界应用中，当模型暴露于被污染的未标记数据时性能会下降。
• 从机器学习视角形式化定义鲁棒SSL，以统一研究努力。
• 将鲁棒性威胁分类为三种不同类型：未标记数据中标签与未标记数据之间的分布不匹配、未标记样本中特征的对抗性污染，以及未标记数据中标签分布的不平衡。
• 系统性地回顾针对每类污染问题的近期方法，以识别其优势、局限性及开放挑战。
• 提出有前景的未来研究方向，以增强深度SSL在实际部署中的鲁棒性与可靠性。

提出的方法

• 提出鲁棒SSL的形式化定义，为评估模型鲁棒性提供一致基础。
• 将鲁棒性威胁分为三类：已标记数据与未标记数据之间的分布不匹配、未标记样本中特征的对抗性污染，以及未标记数据中标签分布的不平衡。
• 调查近期针对三类污染问题的方法，采用如分布对齐、对抗性训练和类别重加权等技术。
• 利用统一的分类体系对比和分析现有方法，突出其设计选择与假设。
• 分析当前方法在处理多种或复合污染类型时的局限性。
• 提出未来研究方向，聚焦于开发可泛化、多威胁鲁棒的SSL算法。

实验结果

研究问题

• RQ1 在存在被污染的未标记数据的情况下，如何正式定义并衡量深度半监督学习中的鲁棒性？
• RQ2 当未标记数据被污染时，现有SSL方法中导致鲁棒性失效的主要原因是什么？
• RQ3 未标记数据中的分布偏移、特征层面的对抗性攻击以及标签不平衡如何分别影响SSL性能？
• RQ4 哪些现有方法能有效缓解每类污染问题，其基本假设和局限性是什么？
• RQ5 在多种、现实世界中常见的数据污染场景下，构建鲁棒SSL模型的最有前景的研究方向是什么？

主要发现

• 鲁棒SSL被正式定义为：当未标记数据在分布、特征或标签维度上被污染时，模型仍能保持性能的能力。
• 分布污染——即未标记数据来自与已标记数据不同的分布——会显著降低SSL性能，尤其当领域偏移未被考虑时。
• 特征层面的污染，如未标记输入中的对抗性扰动，可能误导模型预测，并破坏一致性正则化这一核心SSL原则。
• 未标记数据中标签分布的不平衡会导致模型更新产生偏差，尤其是在未正确重加权的情况下使用伪标签时。
• 现有方法在处理单一污染类型方面表现不一，但很少有方法能同时应对多种威胁。
• 所提出的分类体系使方法对比更加清晰，并凸显了未来研究中需要统一的、多威胁鲁棒的SSL框架。