[论文解读] StreetStyle: Exploring world-wide clothing styles from millions of photos

Kevin Matzen, Kavita Bala+1 more|arXiv (Cornell University)|Jun 6, 2017

Generative Adversarial Networks and Image Synthesis参考文献 36被引用 41

一句话总结

本文提出了一种深度学习框架，通过从1500万张Instagram照片中提取服装属性和风格嵌入，分析全球时尚趋势。利用新创建的数据集StreetStyle-27k，该框架实现了大规模无监督视觉风格聚类，并揭示了时空趋势，例如尼日利亚的 gele 头巾或波哥大世界杯主题球衣等区域性时尚。

ABSTRACT

Each day billions of photographs are uploaded to photo-sharing services and social media platforms. These images are packed with information about how people live around the world. In this paper we exploit this rich trove of data to understand fashion and style trends worldwide. We present a framework for visual discovery at scale, analyzing clothing and fashion across millions of images of people around the world and spanning several years. We introduce a large-scale dataset of photos of people annotated with clothing attributes, and use this dataset to train attribute classifiers via deep learning. We also present a method for discovering visually consistent style clusters that capture useful visual correlations in this massive dataset. Using these tools, we analyze millions of photos to derive visual insight, producing a first-of-its-kind analysis of global and per-city fashion choices and spatio-temporal trends.

研究动机与目标

• 从非结构化的社交媒体图像中实现大规模视觉化的时尚趋势发现。
• 开发一种基于深度学习和聚类的机器学习框架，实现对服装风格的大规模度量。
• 分析城市和季节之间服装选择的地理空间与时间模式。
• 创建一个公开可用的数据集StreetStyle-27k，包含27,000张带标注的图像，用于时尚属性识别。
• 生成视觉洞察，揭示特定城市或地区服装风格的独特性。

提出的方法

• 在StreetStyle-27k数据集上训练深度卷积神经网络（CNN），以预测每张图像的12种服装属性。
• 利用CNN特征学习一个视觉嵌入空间，以高维空间表示服装风格。
• 应用无监督聚类（如高斯混合模型）从嵌入空间中发现视觉上一致的风格聚类。
• 使用时空统计方法识别在时间和地点上高度集中的聚类，例如季节性或事件驱动的时尚。
• 通过每个聚类的平均图像生成风格聚类的视觉摘要，以增强可解释性。
• 利用带有地理标签和时间戳的元数据，分析城市和月份之间的趋势。

实验结果

研究问题

• RQ1 不同城市和时间的服装风格有何差异？
• RQ2 哪些服装属性最能代表特定地区或全球趋势？
• RQ3 在特定地点，最具特色且时间集中的时尚风格是什么？
• RQ4 如何从大规模图像集合中自动发现并可视化有意义的风格聚类？
• RQ5 机器学习在多大程度上能从非结构化的社交媒体图片中提取出可靠且可解释的时尚趋势？

主要发现

• 南亚次大陆和新加坡表现出对黑色 Polo 衫配眼镜的强烈区域偏好，表明存在局部化的风格趋势。
• 2014年6月至7月期间，黄色印花T恤在波哥大、卡拉奇、里约热内卢和圣保罗极为流行，与2014年世界杯时间吻合。
• Gele（尼日利亚头巾）是一种高度独特且具有地域特征的风格，主要集中在尼日利亚拉各斯地区。
• 蓝色纽扣衬衫、格子衬衫和黑色T恤在全球范围内以及全年都广受欢迎，表明其为全球时尚基本款。
• 某些风格（如黄色运动球衣）表现出极端的时间和空间集中性，通常在世界杯等大型赛事期间达到高峰。
• 欧洲城市中冬季服装的比例高于其他地区，反映出气候与文化差异的影响。