[论文解读] Spatial Ensemble: a Novel Model Smoothing Mechanism for Student-Teacher Framework

Tengteng Huang, Yifan Sun+3 more|arXiv (Cornell University)|Oct 4, 2021

Advanced Neural Network Applications参考文献 29被引用 5

一句话总结

本文提出Spatial Ensemble，一种新颖的模型平滑机制，用于学生-教师框架，通过用学生模型中对应参数片段替换教师模型的随机小片段，实现与时间移动平均（TMA）相当的性能。将Spatial Ensemble与TMA结合形成时空平滑（STS）方法后，性能实现一致提升——在低标签设置下，ImageNet上使用BYOL时准确率提升+0.9%，CIFAR-10上使用FixMatch时准确率提升+6%。

ABSTRACT

Model smoothing is of central importance for obtaining a reliable teacher model in the student-teacher framework, where the teacher generates surrogate supervision signals to train the student. A popular model smoothing method is the Temporal Moving Average (TMA), which continuously averages the teacher parameters with the up-to-date student parameters. In this paper, we propose "Spatial Ensemble", a novel model smoothing mechanism in parallel with TMA. Spatial Ensemble randomly picks up a small fragment of the student model to directly replace the corresponding fragment of the teacher model. Consequentially, it stitches different fragments of historical student models into a unity, yielding the "Spatial Ensemble" effect. Spatial Ensemble obtains comparable student-teacher learning performance by itself and demonstrates valuable complementarity with temporal moving average. Their integration, named Spatial-Temporal Smoothing, brings general (sometimes significant) improvement to the student-teacher learning framework on a variety of state-of-the-art methods. For example, based on the self-supervised method BYOL, it yields +0.9% top-1 accuracy improvement on ImageNet, while based on the semi-supervised approach FixMatch, it increases the top-1 accuracy by around +6% on CIFAR-10 when only few training labels are available. Codes and models are available at: https://github.com/tengteng95/Spatial_Ensemble.

研究动机与目标

• 解决学生-教师框架中因教师模型突变更新导致的代理监督信号不稳定与方差问题。
• 探索替代时间移动平均（TMA）的模型平滑机制，以在保持稳定性的同时实现模型集成效果。
• 探究模型参数的空间碎片化是否可产生与时间平均相当或互补的平滑效果。
• 开发一种统一的模型平滑方法，协同结合空间与时间平滑，以提升泛化能力与鲁棒性。

提出的方法

• 在每次更新时，Spatial Ensemble 用当前学生模型中对应的部分参数片段替换教师模型中随机选取的小片段。
• 替换操作在不同层或参数组之间进行，从而在教师模型中形成历史学生模型组件的“空间集成”。
• 每个片段在教师模型中具有相等权重，避免TMA中使用的指数衰减，从而实现更分布式的模型集成。
• 该方法与TMA集成，形成时空平滑（STS），其中片段通过学生片段的动量移动平均进行更新。
• STS结合了两种机制的优势：TMA的时间稳定性与Spatial Ensemble的空间多样性及对参数漂移的鲁棒性。
• 该方法可应用于自监督（BYOL、MoCo）和半监督（FixMatch）学习框架，且仅需极少的架构修改。

实验结果

研究问题

• RQ1 基于空间碎片化的模型平滑机制是否可在学生-教师框架中实现与时间移动平均（TMA）相当的性能？
• RQ2 空间集成机制是否在鲁棒性与泛化能力方面为TMA提供互补优势？
• RQ3 将空间与时间平滑整合为统一方法（STS）是否可在多种自监督与半监督学习任务中实现一致性能提升？
• RQ4 在数据损坏与迁移学习设置下，STS的性能表现如何，特别是在低数据量场景中？

主要发现

• 在自监督学习中，Spatial Ensemble的性能与TMA相当，在ImageNet上使用BYOL时，top-1准确率提升+0.9%。
• 与FixMatch结合后，当每类仅提供20个标签时，STS在CIFAR-10上将top-1准确率提升+6%。
• STS在多个最先进方法（包括BYOL、FixMatch和SimSiam）上均一致提升性能，涵盖ImageNet与CIFAR基准。
• STS训练的模型对数据损坏表现出更强鲁棒性，在ImageNet-C的所有损坏类型与强度下，top-1准确率均高于TMA。
• STS展现出强大的迁移能力，在VOC07+12目标检测任务上达到82.3% AP，优于基线方法（包括BYOL与SimSiam）。
• 该方法保持高效率，推理时间不超过标准训练的1.8倍，并在大标签预算下仍能持续提升性能（例如，在CIFAR-100上使用10,000个标签时提升+1.39%）。