[论文解读] Online Adaptation to Label Distribution Shift

Ruihan Wu, Chuan Guo+2 more|arXiv (Cornell University)|Jul 9, 2021

Data Stream Mining Techniques参考文献 41被引用 10

一句话总结

该论文提出了一种用于实时部署中标签分布漂移的在线自适应算法，其中测试时的标签分布持续漂移，且真实标签从未被观测到。通过仅使用无标签数据推导出期望0-1损失及其梯度的无偏估计，作者将在线标签漂移自适应问题转化为传统在线学习问题，从而能够使用如在线梯度下降（OGD）和跟随历史（FTH）等技术，实现与最优固定分类器相当的遗憾界，并在模拟和真实场景中均表现出优于基线方法的实证性能。

ABSTRACT

Machine learning models often encounter distribution shifts when deployed in the real world. In this paper, we focus on adaptation to label distribution shift in the online setting, where the test-time label distribution is continually changing and the model must dynamically adapt to it without observing the true label. Leveraging a novel analysis, we show that the lack of true label does not hinder estimation of the expected test loss, which enables the reduction of online label shift adaptation to conventional online learning. Informed by this observation, we propose adaptation algorithms inspired by classical online learning techniques such as Follow The Leader (FTL) and Online Gradient Descent (OGD) and derive their regret bounds. We empirically verify our findings under both simulated and real world label distribution shifts and show that OGD is particularly effective and robust to a variety of challenging label shift scenarios.

研究动机与目标

• 解决离线标签漂移自适应在真实场景中的局限性，其中标签分布随时间持续漂移。
• 在测试标签从未被观测到的在线设置中实现模型自适应，同时在标签分布漂移下维持性能。
• 开发理论基础坚实且实用的算法，能够在无真实标签访问的情况下动态调整以适应变化的标签分布。
• 通过仅使用无标签样本对损失和梯度进行无偏估计，建立从在线标签漂移自适应到标准在线学习的归约。
• 在包括新闻和图像分类中的长期分布漂移在内的多样化模拟和真实世界标签漂移场景中，验证OGD和FTH的有效性。

提出的方法

• 利用新颖的理论分析表明，即使未观测到真实标签，也可仅通过无标签测试样本估计期望0-1损失及其梯度。
• 通过从无标签数据中构建损失及其梯度的无偏估计器，将在线标签漂移自适应问题归约为标准在线学习问题。
• 设计受经典在线学习启发的自适应算法：在线梯度下降（OGD）和跟随历史（FTH），后者是跟随领导者（Follow The Leader）的变体。
• 在温和且可实证验证的假设下，推导OGD和FTH的理论遗憾界，表明其性能可与已知漂移分布的固定分类器相当。
• 将该归约框架应用于模拟标签漂移（在CIFAR-10上）和真实世界标签漂移（在ArXiv数据集上），在时变标签分布下验证了方法的有效性。
• 使用无标签测试样本估计期望损失并实时更新模型参数，实现在无标签反馈情况下的动态自适应。

实验结果

研究问题

• RQ1 在未观测到任何真实标签的情况下，能否在在线标签漂移自适应中实现对期望0-1损失及其梯度的无偏估计？
• RQ2 当测试时未观测到标签时，多大程度上可将在线标签漂移自适应问题归约为标准在线学习？
• RQ3 在标签分布漂移条件下，OGD和FTH与已预先知晓测试分布的固定分类器相比表现如何？
• RQ4 所提出的算法能否泛化至真实世界标签漂移场景，如长期新闻文章分类或疾病流行率变化？
• RQ5 OGD和FTH在多样化且具有挑战性的标签漂移模式下的实证与理论性能特征是什么？

主要发现

• OGD和FTH实现的分类准确率与最优固定分类器（OFC）相当或更优，验证了其理论遗憾界。
• 在CIFAR-10上的模拟标签漂移实验中，OGD和FTH始终与OFC性能一致，而FTFWH表现显著更差，尤其在窗口大小较大时。
• 在展示长期、非平稳标签漂移的现实世界ArXiv数据集上，OGD和FTH保持强劲性能，优于基线模型，并与OFC高度接近。
• OGD在多样化且具有挑战性的标签漂移场景中表现出特别强的鲁棒性，并在模拟和真实世界设置下始终实现最高的平均分类准确率。
• 所提出的归约框架使经典在线学习技术可用于在线标签漂移自适应，即使在无标签反馈的情况下，通过从无标签数据构建无偏估计器实现。
• 理论分析表明，OGD和FTH的遗憾界与最优固定分类器相当，证明了在温和且可实证验证假设下的最优性。