[论文解读] Styling with Attention to Details

Ayushi Dalmia, Sachindra Joshi+2 more|arXiv (Cornell University)|Jul 3, 2018

Recommender Systems and Techniques参考文献 5被引用 3

一句话总结

本文提出一种带有注意力机制的序列到序列模型，基于用户生成的社交媒体内容推荐时尚且搭配协调的服饰单品。通过利用时尚帖子中的点赞和评论，该模型学习风格关联关系，在检索任务中的Top-1准确率比基线方法高出28%，平均倒数排名（MRR）高出24%。

ABSTRACT

Fashion as characterized by its nature, is driven by style. In this paper, we propose a method that takes into account the style information to complete a given set of selected fashion items with a complementary fashion item. Complementary items are those items that can be worn along with the selected items according to the style. Addressing this problem facilitates in automatically generating stylish fashion ensembles leading to a richer shopping experience for users. Recently, there has been a surge of online social websites where fashion enthusiasts post the outfit of the day and other users can like and comment on them. These posts contain a gold-mine of information about style. In this paper, we exploit these posts to train a deep neural network which captures style in an automated manner. We pose the problem of predicting complementary fashion items as a sequence to sequence problem where the input is the selected set of fashion items and the output is a complementary fashion item based on the style information learned by the model. We use the encoder decoder architecture to solve this problem of completing the set of fashion items. We evaluate the goodness of the proposed model through a variety of experiments. We empirically observe that our proposed model outperforms competitive baseline like apriori algorithm by ~28 in terms of accuracy for top-1 recommendation to complete the fashion ensemble. We also perform retrieval based experiments to understand the ability of the model to learn style and rank the complementary fashion items and find that using attention in our encoder decoder model helps in improving the mean reciprocal rank by ~24. Qualitatively we find the complementary fashion items generated by our proposed model are richer than the apriori algorithm.

研究动机与目标

• 为解决推荐与用户风格相匹配的互补时尚单品的挑战，超越简单的共现或相似性推荐方法。
• 利用Polyvore和Chictopia等社交媒体平台的数据，对主观且动态变化的时尚风格进行建模。
• 开发一种数据驱动、可泛化的模型，捕捉时尚搭配中复杂的属性级交互关系（例如颜色、图案等）。
• 通过在编码器-解码器架构中引入注意力机制，提升推荐准确率和排序质量。
• 超越静态购买历史，利用社交媒体中的实时、用户驱动的风格信号，实现动态风格建模。

提出的方法

• 将时尚搭配补全任务建模为序列到序列问题，其中输入为一组时尚单品，输出为一个互补单品。
• 采用编码器-解码器架构，结合深度神经网络，从社交媒体帖子中学习时尚搭配的上下文表征。
• 在解码器中引入注意力机制，使模型在预测过程中能动态聚焦于输入时尚单品集的相关特征。
• 在从社交媒体帖子中解析出的文本描述上进行模型训练，利用社交信号（点赞、评论）作为隐式风格指标。
• 利用时尚分类体系和属性级特征（颜色、图案、类型）丰富输入表征，提升泛化能力。
• 使用交叉熵损失进行序列生成的优化，并基于平均倒数排名（MRR）等检索性能指标进行微调。

实验结果

研究问题

• RQ1 点赞和评论等社交媒体信号能否有效用于建模主观且动态变化的时尚风格？
• RQ2 与传统的基于规则或关联规则的方法相比，带有注意力机制的序列到序列模型在生成风格协调的互补时尚单品方面表现如何？
• RQ3 注意力机制在检索设置中在多大程度上提升了推荐时尚单品的排序质量？
• RQ4 深度学习模型是否能在不依赖手工规则或精心构建的风格数据集的情况下，泛化到多样化的时尚搭配？
• RQ5 在Top-1准确率和检索有效性方面，该模型与apriori算法等基线方法相比表现如何？

主要发现

• 所提出的带有注意力机制的序列到序列模型相比apriori算法，Top-1推荐准确率提升了28%。
• 注意力机制使检索评估中的平均倒数排名（MRR）提升了约24%，表明对相关项目的排序质量更高。
• 定性分析表明，与apriori基线相比，该模型生成的互补时尚单品更具多样性且风格更丰富。
• 该模型能有效从非结构化的社交媒体文本中捕捉复杂的风格关系，如颜色与图案的搭配兼容性。
• 社交信号的使用使模型能够学习到当前最新的时尚趋势，避免了传统基于购买数据方法的过时性问题。
• 该模型在多样化时尚搭配中表现出良好的泛化能力，即使在罕见或复杂组合情况下，也能生成相关性高的推荐结果，展现出良好的鲁棒性。