[论文解读] Multi-Task Curriculum Transfer Deep Learning of Clothing Attributes

Qi Dong, Shaogang Gong+1 more|arXiv (Cornell University)|Oct 12, 2016

Domain Adaptation and Few-Shot Learning参考文献 46被引用 5

一句话总结

该论文提出了一种多任务课程迁移（MTCT）深度学习框架，通过多任务网络和分阶段课程学习策略，联合学习多种服装属性，以提升从受控的店铺图像到非受限的野外图像之间的迁移性能。该方法实现了最先进性能，在X-Domain基准测试中，mAP_cls指标相比FashionNet高出4.51%。在目标域训练数据有限的情况下，性能提升显著。

ABSTRACT

Recognising detailed clothing characteristics (fine-grained attributes) in unconstrained images of people in-the-wild is a challenging task for computer vision, especially when there is only limited training data from the wild whilst most data available for model learning are captured in well-controlled environments using fashion models (well lit, no background clutter, frontal view, high-resolution). In this work, we develop a deep learning framework capable of model transfer learning from well-controlled shop clothing images collected from web retailers to in-the-wild images from the street. Specifically, we formulate a novel Multi-Task Curriculum Transfer (MTCT) deep learning method to explore multiple sources of different types of web annotations with multi-labelled fine-grained attributes. Our multi-task loss function is designed to extract more discriminative representations in training by jointly learning all attributes, and our curriculum strategy exploits the staged easy-to-complex transfer learning motivated by cognitive studies. We demonstrate the advantages of the MTCT model over the state-of-the-art methods on the X-Domain benchmark, a large scale clothing attribute dataset. Moreover, we show that the MTCT model has a notable advantage over contemporary models when the training data size is small.

研究动机与目标

• 解决在缺乏标注数据的非受限、野外图像中识别细粒度服装属性的挑战。
• 提升从光照良好、背景干净的店铺图像到杂乱、真实世界街拍图像之间的迁移学习性能，缓解领域偏移问题。
• 通过多任务深度网络联合学习多种服装属性，利用属性间的相关性，提升特征判别能力。
• 设计一种课程学习策略，从简单样本逐步过渡到复杂样本，受认知学习原理启发，以更好地优化深度模型训练。
• 在目标域数据量较少的情况下，展示优越的性能和鲁棒性。

提出的方法

• MTCT框架采用多任务网络（MTN），在多个服装属性之间共享特征，以增强表征学习能力。
• 引入一种新颖的多任务损失函数，联合优化所有属性，促使模型学习到具有判别力且相关的特征。
• 提出一种课程迁移学习策略，先在较易样本上进行训练，再逐步过渡到更难、更复杂的样本，以稳定优化过程。
• 该课程策略受认知科学启发，模仿人类学习过程，逐步提升任务难度。
• 该方法利用来自在线零售商的弱标注网络数据（源域），并将知识迁移到标注极少的野外图像（目标域）。
• 在标准三元组排序损失之外采用t-STE损失函数，使mAP提升1.75%。

实验结果

研究问题

• RQ1 在存在领域偏移的情况下，多任务学习是否能提升细粒度服装属性识别的特征表征能力？
• RQ2 与端到端训练相比，课程学习策略是否能带来更好的优化效果和泛化能力？
• RQ3 在目标域数据量较少的情况下，所提出的MTCT模型性能如何，特别是在仅有少量标注的野外图像时？
• RQ4 能否从网络获取的、受控良好的店铺图像中有效迁移知识，以提升非受限街拍图像中的属性识别性能？
• RQ5 不同损失函数（如t-STE与三元组排序损失）对最终属性识别性能的相对影响如何？

主要发现

• 在X-Domain基准测试中，MTCT模型相比最先进方法FashionNet，mAP_cls绝对提升4.51%（75.66% vs. 71.15%）。
• MTCT模型在所有指标上均优于DARN和DDAN，相比端到端学习基线，mAP_cls提升2.05%。
• 仅使用3,676张标注目标图像（完整数据集的10%）时，MTCT在mAP上相比FashionNet实现8.4%的相对提升。
• 在MTCT网络中，t-STE损失函数相比三元组排序损失，mAP提升1.75%。
• 即使目标训练数据减少至10%，模型仍保持强劲性能，表明其在数据稀缺条件下的鲁棒性与可扩展性。
• 基于Faster R-CNN的服装检测器在店铺图像上达到90.8%的召回率，在野外图像上达到71.2%，为属性识别提供了真实可靠的评估基础。