[论文解读] Towards Understanding Why Mask-Reconstruction Pretraining Helps in Downstream Tasks

Jiachun Pan, Pan Zhou+1 more|arXiv (Cornell University)|Jun 8, 2022

Advanced Neural Network Applications被引用 6

一句话总结

本文对掩码重建预训练（MRP）进行了理论分析，表明使用两层或单层卷积自编码器的MRP能够捕获预训练数据中每个语义类的所有判别性特征。此外，该文进一步证明，微调后的MRP模型在多样化下游数据集上具有优于监督学习的泛化能力，且对单视图和多视图数据均提供了高测试准确率的理论保证。

ABSTRACT

For unsupervised pretraining, mask-reconstruction pretraining (MRP) approaches, e.g. MAE and data2vec, randomly mask input patches and then reconstruct the pixels or semantic features of these masked patches via an auto-encoder. Then for a downstream task, supervised fine-tuning the pretrained encoder remarkably surpasses the conventional ``supervised learning'' (SL) trained from scratch. However, it is still unclear 1) how MRP performs semantic feature learning in the pretraining phase and 2) why it helps in downstream tasks. To solve these problems, we first theoretically show that on an auto-encoder of a two/one-layered convolution encoder/decoder, MRP can capture all discriminative features of each potential semantic class in the pretraining dataset. Then considering the fact that the pretraining dataset is of huge size and high diversity and thus covers most features in downstream dataset, in fine-tuning phase, the pretrained encoder can capture as much features as it can in downstream datasets, and would not lost these features with theoretical guarantees. In contrast, SL only randomly captures some features due to lottery ticket hypothesis. So MRP provably achieves better performance than SL on the classification tasks. Experimental results testify to our data assumptions and also our theoretical implications.

研究动机与目标

• 理解掩码重建预训练（MRP）在预训练过程中如何进行语义特征学习。
• 解释为何MRP在下游任务上的表现优于端到端的监督学习。
• 从理论上证明MRP能够捕获预训练数据集中每个语义类的所有判别性特征。
• 展示由于特征覆盖度和核专业化，MRP在泛化能力上优于监督学习。
• 在共享数据分布的前提下，为下游分类任务中的高测试准确率提供理论保证。

提出的方法

• 针对MRP的两层或单层卷积自编码器架构进行理论分析。
• 分析基于Allen-Zhu & Li (2020) 提出的多视图数据假设，假设数据为多视图或单视图且具有判别性特征。
• 证明编码器中的每个卷积核最多仅捕获一个特征，从而防止特征融合，实现下游任务中清晰的类别区分。
• 本文表明，由于预训练数据集规模大且多样化，其覆盖了下游数据集中大部分特征，使得预训练编码器具备良好的泛化能力。
• 对MRP与监督学习进行理论比较，表明在共享数据分布下，MRP可实现更高的测试准确率。
• 分析利用梯度更新和核动力学，表明MRP在微调过程中保留了特征表示。

实验结果

研究问题

• RQ1 掩码重建预训练（MRP）在预训练过程中如何学习语义特征？
• RQ2 为何MRP在下游分类任务上优于端到端的监督学习？
• RQ3 MRP能否在理论上保证优于监督学习的特征覆盖度和泛化能力？
• RQ4 核专业化在MRP于下游任务中成功中的作用是什么？
• RQ5 MRP能否在理论保证下，从预训练到微调阶段保留判别性特征？

主要发现

• 使用两层或单层卷积自编码器的MRP能够捕获预训练数据集中每个语义类的所有判别性特征。
• 编码器中的每个卷积核最多仅捕获一个特征，防止特征融合，从而在下游任务中实现清晰的类别区分。
• 由于预训练数据集规模大且多样化，MRP捕获的特征覆盖了下游数据集中的大部分特征，从而实现强大的泛化能力。
• 微调后，MRP在单视图和多视图数据上均实现了高测试准确率，优于监督学习，后者在单视图数据上仅能达到一半的准确率。
• 理论分析表明，MRP在微调过程中保持了特征表示，并对新样本的正确分类提供了理论保证。
• 上述结果在预训练数据集与下游数据集共享相同数据分布的假设下依然成立。