[论文解读] Neural Compatibility Modeling with Attentive Knowledge Distillation

Xuemeng Song, Fuli Feng+4 more|arXiv (Cornell University)|Apr 17, 2018

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 28

一句话总结

本文提出 AKD-DBPR，一种通过注意力知识蒸馏将领域特定的时尚知识规则整合到深度学习中的神经兼容性建模框架。通过使用带有注意力机制规则置信度加权的教师-学生网络，该模型在真实世界数据上优于最先进基线模型，同时在冷启动场景下表现出鲁棒性，显著提升了兼容性预测与互补时尚单品检索性能。

ABSTRACT

Recently, the booming fashion sector and its huge potential benefits have attracted tremendous attention from many research communities. In particular, increasing research efforts have been dedicated to the complementary clothing matching as matching clothes to make a suitable outfit has become a daily headache for many people, especially those who do not have the sense of aesthetics. Thanks to the remarkable success of neural networks in various applications such as image classification and speech recognition, the researchers are enabled to adopt the data-driven learning methods to analyze fashion items. Nevertheless, existing studies overlook the rich valuable knowledge (rules) accumulated in fashion domain, especially the rules regarding clothing matching. Towards this end, in this work, we shed light on complementary clothing matching by integrating the advanced deep neural networks and the rich fashion domain knowledge. Considering that the rules can be fuzzy and different rules may have different confidence levels to different samples, we present a neural compatibility modeling scheme with attentive knowledge distillation based on the teacher-student network scheme. Extensive experiments on the real-world dataset show the superiority of our model over several state-of-the-art baselines. Based upon the comparisons, we observe certain fashion insights that add value to the fashion matching study. As a byproduct, we released the codes, and involved parameters to benefit other researchers.

研究动机与目标

• 解决将模糊、主观的时尚匹配规则整合到数据驱动的神经模型中以提升兼容性预测性能的挑战。
• 对不同时尚单品组合中的领域规则置信度进行建模，识别出某些规则在特定样本中更具相关性或可靠性。
• 通过整合专家整理的穿搭组合中的结构化知识，提升基于深度学习的时尚兼容性建模性能。
• 提升互补时尚单品检索性能，尤其针对未见过或稀有单品（冷启动问题）。
• 验证注意力机制在知识蒸馏过程中动态调整规则置信度的有效性。

提出的方法

• 采用教师-学生蒸馏框架，其中教师网络编码预定义的时尚匹配规则，学生网络则从数据和规则知识中联合学习。
• 使用双路径神经网络提取时尚单品的视觉与上下文表征，将其拼接后输入基于 BPR 的排序头以实现兼容性学习。
• 引入注意力机制，根据输入样本的视觉与上下文特征动态分配规则置信度分数，实现样本特定的规则加权。
• 将知识蒸馏损失形式化为从教师网络（基于规则的预测）到学生网络（神经网络预测）的软标签蒸馏，其中规则置信度由注意力机制调制。
• 通过组合成对 BPR 损失（用于排序）与蒸馏损失（用于规则知识迁移）联合训练学生网络，以优化兼容性得分。
• 利用上下文元数据（如 '条纹'、'花卉'、'大衣' 等属性）自动识别哪些规则被特定时尚组合激活。

实验结果

研究问题

• RQ1 将领域特定的时尚匹配规则整合到深度神经网络中，是否能超越纯数据驱动学习，显著提升兼容性建模性能？
• RQ2 如何根据时尚组合的视觉与上下文特征动态调整规则置信度？
• RQ3 注意力知识蒸馏是否能提升互补时尚单品检索性能，尤其是在未见过的单品上？
• RQ4 哪些类型的时尚规则（如负面规则、类别相关规则）对模型性能提升贡献最大？
• RQ5 注意力机制是否能帮助模型克服人类定义的时尚规则固有的模糊性与歧义性？

主要发现

• AKD-DBPR 在互补时尚单品检索任务中全面超越所有最先进基线模型，在观测到与未观测到的测试顶部（tops）中均实现了更优的平均倒数排名（MRR）。
• 该模型在冷启动物品上表现出强大泛化能力，测试中 64.59% 的顶部从未在训练中出现过，验证了其鲁棒性。
• AKD-DBPR 显著优于基线 DBPR 模型，尤其在观测到的测试顶部上表现更优，证实了引入领域知识的有益性。
• 负面匹配规则与类别相关规则被发现是提升兼容性得分的更强大预测因子，优于其他规则类型。
• 注意力机制成功捕捉了样本特定的规则相关性，表现为当视觉信号支持兼容性时，对更兼容的组合（如 '条纹 + 条纹'）分配更高的规则置信度。
• 视觉信号有时会与通用规则冲突（如 '条纹 + 条纹' 规则），注意力机制通过降低低置信度规则的权重，有效缓解了此类冲突。