[论文解读] Test-Time Training with Self-Supervision for Generalization under Distribution Shifts

Yu Sun, Xiaolong Wang+4 more|arXiv (Cornell University)|Sep 29, 2019

Intelligent Tutoring Systems and Adaptive Learning被引用 199

一句话总结

本文提出了 Test-Time Training（TTT），在预测前对未标注的测试样本使用自监督任务来更新模型，以提高对批量与在线设定下分布偏移的鲁棒性。

ABSTRACT

In this paper, we propose Test-Time Training, a general approach for improving the performance of predictive models when training and test data come from different distributions. We turn a single unlabeled test sample into a self-supervised learning problem, on which we update the model parameters before making a prediction. This also extends naturally to data in an online stream. Our simple approach leads to improvements on diverse image classification benchmarks aimed at evaluating robustness to distribution shifts.

研究动机与目标

• 在训练分布与测试分布不同的情况下推动鲁棒泛化。
• 提出一种使用自监督辅助任务的通用测试时自适应框架。
• 在多样基准上研究标准与在线测试时训练 regimes。

提出的方法

• 构建一个多任务网络，包含一个共享特征提取器和两个分支：主任务与自监督任务（旋转预测）。
• 在带标签的数据用于主任务、无标签的数据用于自监督任务的前提下，使用共享提取器进行端到端训练。
• 在测试时，仅通过最小化自监督损失来更新共享特征提取器，然后再对主任务进行预测。
• 利用数据增强形成与训练时增强类似的测试时批次。
• 可选地通过在测试样本流上逐步更新并在样本之间传递状态来扩展到在线设定。

实验结果

研究问题

• RQ1 在测试时由自监督驱动的更新在测试时无标签的情况下是否能在分布偏移下提升性能？
• RQ2 在演变的测试分布下，在线测试时训练与批量/测试时自适应相比有何不同？
• RQ3 主任务与自监督损失之间的梯度对齐在测试时训练有效性中的作用是什么？

主要发现

原始	高斯	射击	冲击噪声	去焦模糊	玻璃雾化	运动模糊	缩放模糊	雪	霜	雾	亮度	对比度	弹性变形	像素化	JPEG
TTT-Online	8.2	25.8	22.6	30.6	14.6	34.4	18.3	17.1	20.0	18.0	16.9	11.2	15.6	21.6	18.1	21.2
UDA-SS	9.0	28.2	26.5	20.8	15.6	43.7	24.5	23.8	25.0	24.9	17.2	12.7	11.6	22.1	20.3	22.6

• TTT及其在线变体（TTT-Online）在多种腐蚀类型和等级下，始终优于简单的对象识别基线。
• 相较于联合训练基线，TTT-Online 常显著降低错误率，并且在某些情况下也可提升至原始分布之上。
• 在 CIFAR-10-C 上，TTT-Online 在大多数腐蚀下超过了带有旋转预测的无监督领域自适应，表明对训练分布的遗忘可能是有利的。
• 在 ImageNet-C 上，TTT-Online 在多种腐蚀类型上带来显著提升，且随着处理的测试样本增多，性能持续提升。
• TTT 在 CIFAR-10.1 上显示出小幅增益，该数据集旨在揭示未知分布偏移，标志着测试时自适应对未知偏移的迈出第一步。
• 一个理论结果将主任务与自监督损失之间的正梯度相关性与测试时更新时主任务性能的提升联系起来。