[论文解读] Visually-Aware Fashion Recommendation and Design with Generative Image Models

Wang-Cheng Kang, Fang Chen+2 more|arXiv (Cornell University)|Nov 7, 2017

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 32

一句话总结

该论文提出了一种端到端的、视觉感知的时尚推荐系统，通过孪生卷积神经网络联合学习图像表征与用户偏好，实现了最先进水平的推荐性能。该方法进一步扩展了框架，引入基于生成对抗网络（GAN）的生成器，以生成符合个体用户品味的个性化、新颖时尚单品，从而实现精准推荐与生成式设计的统一。

ABSTRACT

Building effective recommender systems for domains like fashion is challenging due to the high level of subjectivity and the semantic complexity of the features involved (i.e., fashion styles). Recent work has shown that approaches to `visual' recommendation (e.g.~clothing, art, etc.) can be made more accurate by incorporating visual signals directly into the recommendation objective, using `off-the-shelf' feature representations derived from deep networks. Here, we seek to extend this contribution by showing that recommendation performance can be significantly improved by learning `fashion aware' image representations directly, i.e., by training the image representation (from the pixel level) and the recommender system jointly; this contribution is related to recent work using Siamese CNNs, though we are able to show improvements over state-of-the-art recommendation techniques such as BPR and variants that make use of pre-trained visual features. Furthermore, we show that our model can be used \emph{generatively}, i.e., given a user and a product category, we can generate new images (i.e., clothing items) that are most consistent with their personal taste. This represents a first step towards building systems that go beyond recommending existing items from a product corpus, but which can be used to suggest styles and aid the design of new products.

研究动机与目标

• 解决推荐系统中主观性强且语义复杂的时尚偏好问题。
• 通过联合学习视觉表征与用户偏好，而非依赖预训练图像特征，提升推荐准确率。
• 通过生成新服装单品实现生成式时尚设计，使其与个体用户偏好相匹配。
• 通过统一框架弥合推荐与设计之间的鸿沟，同时支持预测与内容生成。

提出的方法

• 训练孪生卷积神经网络架构，通过比较成对的时尚单品（购买 vs. 未购买）的像素级图像特征，学习用户特定的偏好得分。
• 使用类似贝叶斯个性化排序（BPR）的目标函数进行模型优化，以最大化成对偏好排序。
• 集成生成对抗网络（GAN），学习时尚图像的分布并生成新的、逼真的服装单品。
• 将用户嵌入向量与产品类别条件化于 GAN 的生成过程，以生成个性化时尚设计。
• 采用类似激活最大化优化的方法，寻找能生成最大化用户个性化目标值的潜在代码。
• 通过迭代优化（例如，利用 L1 距离）修改现有原型，生成更符合个体用户需求的改进变体。

实验结果

研究问题

• RQ1 端到端学习视觉表征与用户偏好是否能优于使用预训练图像特征的方法在时尚推荐中的表现？
• RQ2 在用户偏好条件下，生成模型在多大程度上能生成合理且个性化的时尚设计？
• RQ3 该系统在生成既视觉逼真又符合个体用户品味的新颖时尚单品方面效果如何？
• RQ4 该模型是否可用于通过风格修改迭代优化现有时尚单品，同时保持用户偏好的一致性？

主要发现

• 所提出的端到端模型在推荐准确率方面达到最先进水平，以 AUC 为指标，优于使用预训练视觉特征的 BPR 及其变体。
• 基于 GAN 的生成组件所生成的图像，其个性化目标值显著高于训练语料库中的现有单品。
• 生成的图像具有逼真性、多样性，且在风格上与训练数据明显不同，表明有效捕捉了用户特定的时尚偏好。
• 对原型进行用户特定的优化后，偏好得分显著提升，修改内容包括颜色变化、袖长调整以及做旧效果等。
• 实验发现超参数 η=1 在偏好得分与图像质量之间实现了最佳平衡，是所有实验中的最优设置。
• 定性结果表明，生成的图像在视觉上合理，属于连贯的风格，同时与任何训练样本均不相同。