[论文解读] Theme-Matters: Fashion Compatibility Learning via Theme Attention

Jui-Hsin Lai, Bo Wu+4 more|arXiv (Cornell University)|Dec 12, 2019

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 6

一句话总结

本文提出了一种主题注意力模型用于时尚搭配学习，引入了首个真实世界数据集（Fashion32），包含14,000套搭配和32个主题标签。通过利用类别特定的嵌入空间和主题感知注意力机制，该方法在主题条件下的搭配预测任务中超越了所有SOTA基线模型，在搭配级别兼容性任务上达到94.26%的AUC，在搭配匹配任务中达到76.87%的准确率。

ABSTRACT

Fashion compatibility learning is important to many fashion markets such as outfit composition and online fashion recommendation. Unlike previous work, we argue that fashion compatibility is not only a visual appearance compatible problem but also a theme-matters problem. An outfit, which consists of a set of fashion items (e.g., shirt, suit, shoes, etc.), is considered to be compatible for a "dating" event, yet maybe not for a "business" occasion. In this paper, we aim at solving the fashion compatibility problem given specific themes. To this end, we built the first real-world theme-aware fashion dataset comprising 14K around outfits labeled with 32 themes. In this dataset, there are more than 40K fashion items labeled with 152 fine-grained categories. We also propose an attention model learning fashion compatibility given a specific theme. It starts with a category-specific subspace learning, which projects compatible outfit items in certain categories to be close in the subspace. Thanks to strong connections between fashion themes and categories, we then build a theme-attention model over the category-specific embedding space. This model associates themes with the pairwise compatibility with attention, and thus compute the outfit-wise compatibility. To the best of our knowledge, this is the first attempt to estimate outfit compatibility conditional on a theme. We conduct extensive qualitative and quantitative experiments on our new dataset. Our method outperforms the state-of-the-art approaches.

研究动机与目标

• 为了解决现有时尚搭配模型忽略主题上下文（如“商务”或“休闲”场合）的局限性。
• 开发一种方法，实现基于特定主题的搭配兼容性估计，而非仅依赖视觉外观。
• 创建一个高质量的真实世界数据集，包含细粒度的时尚类别和主题标注，以支持主题感知的时尚建模。
• 通过显式建模时尚主题与单品兼容性之间的关系，实现更准确、更具上下文感知的时尚推荐。

提出的方法

• 该方法通过三元组网络和嵌入掩码实现类别特定子空间学习，将时尚单品投影到每个类别的判别性子空间中。
• 构建一种主题注意力机制，根据输入主题动态加权成对兼容性，实现主题条件下的兼容性估计。
• 模型在类别特定嵌入上使用多头注意力机制，计算一套搭配中所有单品对的主题感知兼容性得分。
• 最终的搭配兼容性得分通过注意力加权的成对兼容性聚合得到，支持基于搭配级别标签的端到端训练。
• 该框架通过三元组对上的对比损失进行训练，并通过反向传播实现端到端学习。
• 模型在新整理的数据集Fashion32上进行评估，该数据集包含14,000套搭配、32个主题，以及40,000件标注了152个细粒度类别的单品。

实验结果

研究问题

• RQ1 通过将搭配预测条件化于特定主题（如“商务”或“休闲”）是否能显著提升搭配性能？
• RQ2 与粗粒度类别相比，引入细粒度时尚类别在主题感知兼容性建模中起到何种增强作用？
• RQ3 主题注意力机制在多大程度上提升了相比忽略主题上下文的基线模型的兼容性预测性能？
• RQ4 所提出的方法在“运动”、“办公”、“日式”和“自然”等多样化主题上的泛化能力如何？
• RQ5 使用类别特定嵌入空间是否相比共享嵌入空间能带来更好的兼容性估计性能？

主要发现

• 所提模型在总测试集上的搭配兼容性预测任务中达到94.26%的AUC，优于所有基线模型在主题感知设置下的表现。
• 在“商务”主题下，模型达到94.75%的AUC和78.18%的FITB准确率，显著优于次优方法。
• 在“学校”主题下，模型实现96.92%的AUC和82.52%的FITB准确率，展现出在多样化场合中的强大泛化能力。
• 在“瘦”和“高挑”体型主题组中，模型分别达到94.63%和93.94%的AUC，表明对体型变化具有鲁棒性。
• 在所有主题组（包括“办公”、“运动”以及“女性/男性”性别主题）中，模型始终优于Type-Aware和Theme-Graph基线模型。
• 消融实验证实，类别特定嵌入和主题注意力机制均不可或缺，当任一组件被移除时性能下降超过5%。