[论文解读] OutfitTransformer: Learning Outfit Representations for Fashion Recommendation

Rohan Sarkar, Navaneeth Bodla+5 more|arXiv (Cornell University)|Apr 11, 2022

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

OutfitTransformer 提出了一种基于 Transformer 的框架，通过学习统一的、整体服饰级别的表征，以提升时尚搭配预测与大规模互补商品检索的性能。通过使用任务特定的标记（tokens）和集合级排序损失（set-wise ranking loss），该方法捕捉了所有服饰商品之间的全局搭配性，并能检索出在风格和目标类别或文本描述上均匹配的商品，其在 Polyvore Outfits 数据集上的表现优于当前最先进方法，用户偏好实验中检索结果的偏好率达到 52.5%。

ABSTRACT

Learning an effective outfit-level representation is critical for predicting the compatibility of items in an outfit, and retrieving complementary items for a partial outfit. We present a framework, OutfitTransformer, that uses the proposed task-specific tokens and leverages the self-attention mechanism to learn effective outfit-level representations encoding the compatibility relationships between all items in the entire outfit for addressing both compatibility prediction and complementary item retrieval tasks. For compatibility prediction, we design an outfit token to capture a global outfit representation and train the framework using a classification loss. For complementary item retrieval, we design a target item token that additionally takes the target item specification (in the form of a category or text description) into consideration. We train our framework using a proposed set-wise outfit ranking loss to generate a target item embedding given an outfit, and a target item specification as inputs. The generated target item embedding is then used to retrieve compatible items that match the rest of the outfit. Additionally, we adopt a pre-training approach and a curriculum learning strategy to improve retrieval performance. Since our framework learns at an outfit-level, it allows us to learn a single embedding capturing higher-order relations among multiple items in the outfit more effectively than pairwise methods. Experiments demonstrate that our approach outperforms state-of-the-art methods on compatibility prediction, fill-in-the-blank, and complementary item retrieval tasks. We further validate the quality of our retrieval results with a user study.

研究动机与目标

• 为解决成对搭配建模的局限性，通过学习整体服饰级别的表征，捕捉更高阶的商品间关系。
• 通过生成一个单一、可索引的嵌入表征，同时编码服饰搭配性与目标商品规格，实现大规模互补商品检索。
• 通过预训练与课程学习策略提升检索性能，克服检索任务初期表现不佳的问题。
• 验证检索结果不仅排名靠前，且在人类评估中被认为在风格上等同或优于真实答案（ground-truth）商品。

提出的方法

• 引入服饰标记（outfit token），利用自注意力机制学习整个服饰集合的全局、排列不变表征，并通过兼容性预测的分类损失进行训练。
• 引入目标商品标记（target item token），联合编码部分服饰的兼容性与目标商品描述（类别或文本），从而实现对风格一致且兼容商品的有效检索。
• 采用一种新颖的集合级服饰排序损失，优化目标商品嵌入，使兼容商品在排序中相对于不兼容商品排名更高。
• 通过大规模服饰级别兼容性数据集进行预训练，并结合课程学习策略，提升泛化能力与检索性能。
• 设计框架时允许在索引阶段独立提取单个商品嵌入，无需依赖查询，从而支持基于 KNN 的高效大规模检索。
• 利用 Transformer 模型对无序服饰集合中所有商品之间的复杂、非成对关系进行建模的能力。

Figure 1 : The proposed framework, OutfitTransformer, learns an outfit-level representation for a set of outfit items to address the CP and CIR tasks. For CIR, it learns a single embedding encoding overall compatibility of the partial outfit, and a target item description that is used to retrieve co

实验结果

研究问题

• RQ1 通过自注意力机制学习的统一、服饰级别的表征，是否能超越成对建模，在搭配预测与互补商品检索方面取得更好效果？
• RQ2 一个同时基于服饰与目标描述（类别或文本）的单一目标商品嵌入，是否能实现高效且可扩展的风格兼容商品检索？
• RQ3 与商品对或类别对方法相比，基于服饰级别的学习是否能带来更好的泛化能力与大规模检索性能？
• RQ4 即使真实答案不在 top-k 结果中，模型是否仍能检索出在人类偏好中优于真实答案的商品？

主要发现

• OutfitTransformer 在三个基准任务上均优于当前最先进方法：Polyvore Outfits 数据集上的搭配预测、填空任务（FITB）与互补商品检索。
• 在用户研究中，模型实现了 52.5% 的人类偏好率，表明在 52.5% 的情况下，检索结果在风格上至少与真实答案相当，验证了检索结果的质量。
• 集合级服饰排序损失显著提升了检索性能，通过促使兼容商品的嵌入更接近服饰表征，实现更优排序。
• 预训练与课程学习策略显著提升了检索性能，尤其在训练初期表现更优。
• 定性结果表明，该框架能成功检索出既符合服饰整体风格，又匹配特定基于文本的描述的商品。
• 该模型在不同目标类别与描述性查询上均表现出良好的泛化能力，展示了检索任务中的鲁棒性与灵活性。

(a) Compatibility prediction