[论文解读] TransNFCM: Translation-Based Neural Fashion Compatibility Modeling

Xun Yang, Yunshan Ma+3 more|arXiv (Cornell University)|Dec 25, 2018

Recommender Systems and Techniques参考文献 27被引用 4

一句话总结

TransNFCM 提出了一种基于翻译的新型神经框架，用于时尚搭配建模，通过在统一空间中联合学习物品嵌入和类别特定的互补关系作为向量平移。该方法通过有效捕捉全局和类别感知的搭配关系，减少不恰当的相似性传递性，在真实世界数据集上显著提升了推荐准确率，优于当前最先进方法。

ABSTRACT

Identifying mix-and-match relationships between fashion items is an urgent task in a fashion e-commerce recommender system. It will significantly enhance user experience and satisfaction. However, due to the challenges of inferring the rich yet complicated set of compatibility patterns in a large e-commerce corpus of fashion items, this task is still underexplored. Inspired by the recent advances in multi-relational knowledge representation learning and deep neural networks, this paper proposes a novel Translation-based Neural Fashion Compatibility Modeling (TransNFCM) framework, which jointly optimizes fashion item embeddings and category-specific complementary relations in a unified space via an end-to-end learning manner. TransNFCM places items in a unified embedding space where a category-specific relation (category-comp-category) is modeled as a vector translation operating on the embeddings of compatible items from the corresponding categories. By this way, we not only capture the specific notion of compatibility conditioned on a specific pair of complementary categories, but also preserve the global notion of compatibility. We also design a deep fashion item encoder which exploits the complementary characteristic of visual and textual features to represent the fashion products. To the best of our knowledge, this is the first work that uses category-specific complementary relations to model the category-aware compatibility between items in a translation-based embedding space. Extensive experiments demonstrate the effectiveness of TransNFCM over the state-of-the-arts on two real-world datasets.

研究动机与目标

• 为解决在电子商务推荐系统中，超越视觉相似性的复杂多维时尚搭配建模挑战。
• 克服基于度量学习方法的局限性，如不恰当的相似性传递性和上下文无关的搭配空间。
• 提出一种数据依赖的、类别特定的搭配函数，利用统一嵌入空间中的向量平移实现。
• 通过端到端学习框架，联合优化物品嵌入和类别互补关系。
• 通过利用多模态（视觉与文本）表示，提升跨类别时尚推荐性能。

提出的方法

• TransNFCM 将时尚搭配建模为多关系学习问题，其中每个类别互补对（如T恤与长裤）在嵌入空间中表示为关系向量。
• 通过翻译机制定义搭配关系：对于兼容的物品 x（头实体）和 y（尾实体），关系向量 r 满足 x + r ≈ y，从而嵌入类别特定的搭配概念。
• 多模态物品编码器结合预训练卷积神经网络（CNN）提取视觉特征和文本CNN提取文本特征，生成联合物品嵌入。
• 通过基于边距的排序损失（如BPR）联合优化物品嵌入和关系向量，最小化正样本对中 x + r 与 y 之间的距离。
• 兼容性得分计算为 P(x,y) ∝ -d(x + r^{c_x c_y}, y)，同时结合全局（x^T y）和类别特定（(y - x)^T r^{c_x c_y}）两部分。
• 该方法避免使用额外的损失函数（如跨模态一致性损失），因为实证结果表明这些损失会降低表示多样性并损害性能。

实验结果

研究问题

• RQ1 基于翻译的嵌入框架是否能有效建模超越全局相似性的类别感知时尚搭配？
• RQ2 与基于度量学习的基线方法相比，联合学习类别特定关系与物品嵌入在搭配建模方面有何改进？
• RQ3 全局与类别特定搭配信号在最终推荐性能中的相对贡献如何？
• RQ4 在目标类别已知的更有利设置下，TransNFCM 相较于现有方法表现如何？
• RQ5 该模型能否在包含复杂多模态时尚数据的真实电商数据集上实现良好泛化？

主要发现

• 在 FashionVC 数据集上，TransNFCM 达到 75.4% AUC 和 33.4% Hit@10，显著优于 BPR 方法（在相同多模态设置下同样达到 75.4% AUC 和 33.4% Hit@10）。
• 在 Polyvore 数据集上，TransNFCM 达到 73.8% AUC 和 32.7% Hit@10，展现出对当前最先进方法的一致性优势。
• 全局与类别特定搭配信号的结合带来最佳性能：仅使用类别特定部分（如 (y - x)^T r）会导致性能下降，而仅使用全局部分则不足。
• 当目标类别已知时，TransNFCM 在 AUC 和 Hit@10 上仍比 TriNet 高近 2%，尤其在负样本随机采样时，性能提升接近 4%。
• 消融实验证实，类别特定关系向量 r^{c_x c_y} 通过将困难负样本推离查询点，有效缓解了不恰当的相似性传递性。
• 该模型在未使用跨模态一致性或视觉-语义对齐损失的情况下，仍达到最先进性能，实证表明这些损失会因降低表示多样性而损害性能。