[论文解读] Self-ensembling for visual domain adaptation
这篇论文将 mean teacher 自监督集成框架适用于视觉域自适应，引入域特定训练，包含源/目标批次、置信阈值化和类别平衡，在包括 VisDA-2017 在内的若干基准测试中实现了最先进的结果。
This paper explores the use of self-ensembling for visual domain adaptation problems. Our technique is derived from the mean teacher variant (Tarvainen et al., 2017) of temporal ensembling (Laine et al;, 2017), a technique that achieved state of the art results in the area of semi-supervised learning. We introduce a number of modifications to their approach for challenging domain adaptation scenarios and evaluate its effectiveness. Our approach achieves state of the art results in a variety of benchmarks, including our winning entry in the VISDA-2017 visual domain adaptation challenge. In small image benchmarks, our algorithm not only outperforms prior art, but can also achieve accuracy that is close to that of a classifier trained in a supervised fashion.
研究动机与目标
- 通过半监督和无监督的域自适应来降低标注需求（视觉任务）.
- 将 mean teacher 自监督集成扩展以处理分离的有标签源域和无标签目标域.
- 在具有挑战性的域转换中，通过置信阈值化和类别平衡来提高训练稳定性和性能.
- 展示在小图像基准和 VisDA-2017 域自适配挑战中的有效性。
提出的方法
- 将方法建立在 mean teacher 半监督学习之上，其中学生网络从教师学习，教师是学生的指数移动平均。
- 使用分离的源和目标路径来处理域特异数据，批量归一化统计按域自适应。
- 对有标签的源数据应用标准有监督损失，对目标数据的学生与教师预测之间应用无监督自监督损失。
- 将高斯逐步提升替换为置信阈值化，以决定何时对无标签目标样本应用自监督损失。
- 引入类别平衡损失，以减轻由目标类别分布不平衡引起的退化极小值。
- 纳入数据增强方案（高斯噪声、平移、翻转、仿射变换），并评估它们在不同基准上的影响。
实验结果
研究问题
- RQ1自监督集成是否能够从半监督学习有效转移到带标签源和无标签目标数据的无监督域自适应？
- RQ2域特定的批量归一化、基于置信的加权和类别平衡是否能提升在具有挑战性数据集上的自适应性能？
- RQ3哪些数据增强与训练策略在小图像基准和更大域自适应任务如 VisDA-2017 上能够实现最先进的结果？
- RQ4域自适应的自监督集成在目标域上可以接近监督学习的性能到多近？
主要发现
- 在若干小图像域自适应基准测试中，使用 MT+TF、MT+CT、MT+CT+TF、MT+CT+TFA 配置实现了最先进的结果。
- MT+TF 单独在多个任务上表现强劲；加入置信阈值化（CT）稳定了训练并在某些基准上提升了性能（如 STLCIFAR，Syn-digits 到 SVHN）。
- 在 0.968 的阈值下的置信阈值化提高了稳定性和性能，起到强调高置信教师预测的过滤作用。
- 类别平衡损失缓解由于目标类别不平衡引起的退化极小值（尤其 MNIST→SVHN），使目标预测朝向均匀的类别分布。
- 在 VisDA-2017 上，使用预训练的 ResNet-152 配合测试时增强和集成预测，取得了具有竞争力的比赛结果，包括在各配置中获得较高的验证/测试分数。
- 数据增强选择显著影响性能；平移/翻转在某些基准中有帮助，但仿射增强在取决于数据域的情况下可能对其他基准造成负面影响。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。