[论文解读] Progressive Fashion Attribute Extraction

Sandeep Singh Adhikari, Sukhneer Singh+2 more|arXiv (Cornell University)|Jun 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 7被引用 6

一句话总结

本文提出一种用于时尚属性提取的渐进式训练框架，采用共享的主干ResNet网络和分支化的头网络分别处理各个属性，实现即使在标注稀疏、不完整的情况下也能高效进行多分类。该方法优于单属性模型，且在准确率上与多标签分类相当，同时对缺失标签具有鲁棒性，并显著减少模型大小及训练/推理时间。

ABSTRACT

Extracting fashion attributes from images of people wearing clothing/fashion accessories is a very hard multi-class classification problem. Most often, even catalogues of fashion do not have all the fine-grained attributes tagged due to prohibitive cost of annotation. Using images of fashion articles, running multi-class attribute extraction with a single model for all kinds of attributes (neck design detailing, sleeves detailing, etc) requires classifiers that are robust to missing and ambiguously labelled data. In this work, we propose a progressive training approach for such multi-class classification, where weights learnt from an attribute are fine tuned for another attribute of the same fashion article (say, dresses). We branch networks for each attributes from a base network progressively during training. While it may have many labels, an image doesn't need to have all possible labels for fashion articles present in it. We also compare our approach to multi-label classification, and demonstrate improvements over overall classification accuracies using our approach.

研究动机与目标

• 解决现实电商数据集中时尚属性标注稀疏且不完整的问题。
• 开发一种可扩展、高效的深度学习框架，利用多个时尚属性之间的共享表征。
• 在存在缺失或模糊标签的情况下，提升细粒度时尚属性的分类准确率。
• 减少为不同属性维护数百个独立模型所带来的计算与部署开销。
• 实现具备零停机更新能力的实用属性提取系统，支持高效扩展。

提出的方法

• 在所有时尚图像上训练一个共享的主干ResNet网络，每个时尚属性（如袖型、领型）配备独立的分支头网络。
• 采用渐进式训练：按顺序对每个属性微调主干网络的权重，实现渐进式学习，无需每张图像都具备全部标签。
• 训练过程中，主干网络冻结后仅更新分支头网络的权重，降低计算成本并防止灾难性遗忘。
• 该方法支持部分标签图像的训练——与多标签分类不同，后者要求所有标签均存在。
• 生产管道使用Flask、Gunicorn和Nginx，通过部署多个模型实例实现负载均衡和零停机更新。
• 通过模型压缩和共享主干架构，显著降低所有属性的总磁盘占用和推理时间。

实验结果

研究问题

• RQ1 单个深度学习模型能否有效从标注不完整或缺失的图像中提取多个时尚属性？
• RQ2 与多标签分类和独立属性模型相比，基于共享与分支网络的渐进式训练在准确率和鲁棒性方面表现如何？
• RQ3 共享主干网络在数百个时尚属性上最多能将模型大小和推理时间减少多少？
• RQ4 如何构建一个可扩展、生产就绪的系统，实现零停机更新的实时时尚属性提取？
• RQ5 该渐进式训练框架能否扩展以支持动态添加新属性，而无需重新训练整个模型？

主要发现

• 渐进式学习模型的分类准确率高于单属性模型，且与多标签分类性能相当。
• 由于权重冻结和渐进式微调，训练时间相比独立训练所有模型减少了约50%。
• 由于主干网络共享，每张图像仅需一次前向传播，推理时间减少了约40%。
• 模型磁盘大小平均减少60%以上——例如，连衣裙的独立模型需1120MB，而渐进式模型仅需450MB。
• 通过并行部署多个模型实例，系统支持零停机更新，实现无缝模型版本控制与A/B测试。
• 系统在Azure多实例上通过负载均衡和GPU/CPU推理实现高效扩展，GPU上连衣裙的推理时间仅为每张图像0.12秒。