[论文解读] Who, Where, and What to Wear? Extracting Fashion Knowledge from Social Media

Yunshan Ma, Xun Yang+3 more|arXiv (Cornell University)|Aug 12, 2019

Generative Adversarial Networks and Image Synthesis参考文献 38被引用 10

一句话总结

本文提出一种新颖方法，通过上下文感知的时尚概念学习模块和弱标签建模，自动从社交媒体中提取时尚知识——即人物、场合与服饰之间的关联。该方法统一整合图像、文本和元数据的多模态分析，在时尚概念预测任务中表现优异，并生成可操作的、基于统计的时尚知识，适用于推荐等下游应用。

ABSTRACT

Fashion knowledge helps people to dress properly and addresses not only physiological needs of users, but also the demands of social activities and conventions. It usually involves three mutually related aspects of: occasion, person and clothing. However, there are few works focusing on extracting such knowledge, which will greatly benefit many downstream applications, such as fashion recommendation. In this paper, we propose a novel method to automatically harvest fashion knowledge from social media. We unify three tasks of occasion, person and clothing discovery from multiple modalities of images, texts and metadata. For person detection and analysis, we use the off-the-shelf tools due to their flexibility and satisfactory performance. For clothing recognition and occasion prediction, we unify the two tasks by using a contextualized fashion concept learning module, which captures the dependencies and correlations among different fashion concepts. To alleviate the heavy burden of human annotations, we introduce a weak label modeling module which can effectively exploit machine-labeled data, a complementary of clean data. In experiments, we contribute a benchmark dataset and conduct extensive experiments from both quantitative and qualitative perspectives. The results demonstrate the effectiveness of our model in fashion concept prediction, and the usefulness of extracted knowledge with comprehensive analysis.

研究动机与目标

• 解决缺乏大规模、以用户为中心的时尚知识（关联人物、场合与服饰）的问题。
• 开发一种从非结构化多模态社交媒体内容中自动提取时尚知识的方法。
• 通过鲁棒的学习框架利用弱标签数据，克服人类标注数据有限的挑战。
• 利用跨模态的上下文依赖关系，统一预测时尚概念（服饰、场合与人物属性）。
• 通过全面的定量与定性分析验证所提取知识的合理性与实用性。

提出的方法

• 提出一种上下文感知的时尚概念学习模块，利用多模态输入（图像、文本、元数据）建模时尚概念之间的依赖与相关性。
• 引入弱标签建模模块，采用标签转移矩阵以提升对噪声机器标注的鲁棒性。
• 使用现成工具进行人物属性检测（如性别、年龄），以保持灵活性与性能。
• 结合干净的人工标注数据与机器标注数据，提升模型泛化能力并减轻标注负担。
• 应用统计聚合流程，提取高频三元组（场合、人物、服饰）作为可操作的时尚知识。
• 采用多任务学习框架，通过共享的上下文表征，联合优化服饰识别、场合预测与人物属性检测。

实验结果

研究问题

• RQ1 能否从非结构化的社交媒体内容中有效提取关联人物、场合与服饰的时尚知识？
• RQ2 如何建模时尚概念之间的上下文依赖关系以提升预测准确性？
• RQ3 在干净标注数据稀缺的情况下，弱标签数据能在多大程度上提升时尚概念学习？
• RQ4 所提取的时尚知识是否反映现实中的着装模式与社会规范？
• RQ5 所提出的方法如何支持时尚推荐等下游应用？

主要发现

• 所提模型在时尚概念预测任务中达到最先进性能，证明了上下文学习与弱监督的有效性。
• 提取的时尚知识揭示了合理且符合现实的模式，如会议场合中穿正装，婚礼中存在着装规范。
• 跨类别匹配分析显示显著的搭配趋势——例如，衬衫更常与长裤搭配而非短裤，长袖与长款服饰强相关。
• 模型成功识别出性别特定趋势，如女性在特定情境下更倾向选择连衣裙，男性则更倾向选择T恤与长裤。
• 知识提取流程生成的高频三元组（场合、人物、服饰）与常见时尚规范一致，对推荐系统具有实用价值。
• 弱标签建模模块中的标签转移矩阵显著提升了对噪声标注的鲁棒性，从而增强整体学习性能。