[论文解读] Multi-Stage Transfer Learning with an Application to Selection Process

André Sales Mendes, Julian Togelius+1 more|arXiv (Cornell University)|Jun 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 42被引用 5

一句话总结

本文提出多阶段迁移学习（MSGTL），一种将知识从早期训练的简单、低维神经网络迁移至后期复杂、高维模型的方法，适用于多阶段筛选过程。通过使用概率更新掩码平衡知识保留与微调，MSGTL有效缓解了小样本后期数据集的过拟合问题，并显著提升性能，尤其在样本量较小的后期阶段表现突出。

ABSTRACT

In multi-stage processes, decisions happen in an ordered sequence of stages. Many of them have the structure of dual funnel problem: as the sample size decreases from one stage to the other, the information increases. A related example is a selection process, where applicants apply for a position, prize, or grant. In each stage, more applicants are evaluated and filtered out, and from the remaining ones, more information is collected. In the last stage, decision-makers use all available information to make their final decision. To train a classifier for each stage becomes impracticable as they can underfit due to the low dimensionality in early stages or overfit due to the small sample size in the latter stages. In this work, we proposed a extit{Multi-StaGe Transfer Learning} (MSGTL) approach that uses knowledge from simple classifiers trained in early stages to improve the performance of classifiers in the latter stages. By transferring weights from simpler neural networks trained in larger datasets, we able to fine-tune more complex neural networks in the latter stages without overfitting due to the small sample size. We show that it is possible to control the trade-off between conserving knowledge and fine-tuning using a simple probabilistic map. Experiments using real-world data demonstrate the efficacy of our approach as it outperforms other state-of-the-art methods for transfer learning and regularization.

研究动机与目标

• 解决多阶段筛选过程中的双重漏斗问题，即早期阶段样本量大但维度低，后期阶段维度高但样本量小。
• 克服在孤立训练分类器时，早期阶段的欠拟合与后期阶段的过拟合问题。
• 开发一种迁移学习框架，利用早期阶段简单模型的知识，提升后期复杂、数据丰富但样本稀缺阶段的泛化能力。
• 引入可调超参数，控制知识保留与后期模型微调之间的权衡。
• 在三年真实筛选数据上验证该方法，证明其在性能上优于当前最先进的迁移学习与正则化技术。

提出的方法

• MSGTL在各阶段训练一系列神经网络（NNs），早期阶段使用简单、浅层网络，基于大规模、低维数据集进行训练。
• 将早期阶段神经网络的权重迁移至后期阶段的深层、宽层网络中，作为初始化方式，以防止过拟合。
• 采用带有超参数 ρ 的概率更新掩码，控制权重更新的概率，从而在知识保留与适应新数据之间实现平衡。
• 网络架构采用逐层减半的节点数策略（每层节点数为前一层的一半），最终层保留 γ 个节点，由超参数 ω（最大层数）和 γ（输出节点数）控制。
• 该方法可处理结构化与非结构化数据（如表格数据、类别型数据、文本数据），并旨在缓解协变量偏移与类别不平衡等问题。
• 通过纵向（跨年）与交叉验证（同一年）两种设置评估方法，以检验其在分布偏移下的鲁棒性。

实验结果

研究问题

• RQ1 从早期阶段的低维模型迁移知识，是否能提升后期高维、小样本分类任务的性能？
• RQ2 概率更新掩码（ρ）如何影响MSGTL中知识保留与模型微调之间的平衡？
• RQ3 在存在协变量偏移的多阶段筛选过程中，MSGTL是否优于当前最先进的迁移学习与正则化方法？
• RQ4 网络深度（层数）如何影响MSGTL中知识迁移的有效性？
• RQ5 与单阶段或级联分类器方法相比，MSGTL在多阶段筛选中在多大程度上减少了性能下降？

主要发现

• 在纵向与交叉验证实验中，MSGTL均优于其他最先进的迁移学习与正则化方法，评估阶段的F1分数最高。
• 在纵向设置中，MSGTL相比第二好的方法提升了0.17，表明在协变量偏移条件下具有显著优势。
• 在交叉验证设置中，MSGTL相比第二好的方法提升了0.16，表明在数据分布一致时仍具鲁棒性。
• 最优超参数 ρ 确定为0.3，此时知识迁移有效但不过于限制，有利于更好地微调并提升性能。
• 随着网络深度增加（层数增多），性能下降，表明更深的架构会稀释迁移权重的影响，并增加过拟合风险。
• 该方法通过利用早期阶段的可泛化知识，显著减少了在样本量较小的后期阶段的性能下降。