[论文解读] Visually-Aware Personalized Recommendation using Interpretable Image Representations

Charles Packer, Julian McAuley+1 more|arXiv (Cornell University)|Jun 26, 2018

Visual Attention and Saliency Detection参考文献 5被引用 15

一句话总结

本文提出了一种视觉感知的个性化时尚推荐系统，利用细粒度属性解析生成的可解释图像表征，实现了最先进水平的排序性能，同时支持模型可解释性。通过学习用户对离散视觉属性（如“皮革”、“阔腿”）的个性化偏好，该模型支持交互式个性化与随时间推移的可解释趋势分析。

ABSTRACT

Visually-aware recommender systems use visual signals present in the underlying data to model the visual characteristics of items and users' preferences towards them. In the domain of clothing recommendation, incorporating items' visual information (e.g., product images) is particularly important since clothing item appearance is often a critical factor in influencing the user's purchasing decisions. Current state-of-the-art visually-aware recommender systems utilize image features extracted from pre-trained deep convolutional neural networks, however these extremely high-dimensional representations are difficult to interpret, especially in relation to the relatively low number of visual properties that may guide users' decisions. In this paper we propose a novel approach to personalized clothing recommendation that models the dynamics of individual users' visual preferences. By using interpretable image representations generated with a unique feature learning process, our model learns to explain users' prior feedback in terms of their affinity towards specific visual attributes and styles. Our approach achieves state-of-the-art performance on personalized ranking tasks, and the incorporation of interpretable visual features allows for powerful model introspection, which we demonstrate by using an interactive recommendation algorithm and visualizing the rise and fall of fashion trends over time.

研究动机与目标

• 解决当前基于深度学习的视觉表征在时尚推荐系统中缺乏可解释性的问题。
• 将用户偏好建模为对离散视觉属性（如颜色、材质、风格）的显式亲和力，而非抽象嵌入。
• 实现交互式推荐系统，使用户能够基于商品特征或视觉维度动态调整偏好。
• 通过分析视觉属性流行度的时序变化，实现对时尚趋势的特征级别追踪。

提出的方法

• 该模型使用改进版的DeepFashion属性检测框架，从商品图像中提取可解释的视觉特征，训练数据为包含细粒度标注的专有时尚数据集。
• 通过引入一个可学习的嵌入矩阵 E，将视觉特征映射到潜在偏好维度，扩展了贝叶斯个性化排序（BPR）模型。
• 用户偏好通过亲和力向量 p_u 建模，用于量化对每个视觉属性的敏感度，该向量通过使用独热编码特征的改进偏好预测器计算得出。
• 对亲和力向量进行归一化以确保可解释性，并通过在视觉特征空间中进行最近邻搜索生成推荐结果。
• 通过动态更新 p_u（通过公式 Eq. 6）或针对特定视觉维度（通过公式 Eq. 7）实现交互式个性化。
• 通过计算嵌入矩阵与时间加权向量 w(t) 的乘积（公式 Eq. 8），实现对时尚趋势的时序追踪。

实验结果

研究问题

• RQ1 从属性解析中提取的可解释视觉特征是否能在个性化时尚推荐中超越高维黑箱CNN特征？
• RQ2 用户偏好在多大程度上可以被有意义地表示为对离散视觉属性的亲和力，而非抽象嵌入？
• RQ3 可解释的视觉特征是否能够支持交互式推荐系统，使用户能够通过选择商品或特征来修改偏好？
• RQ4 该模型是否能提供有意义且可解释的可视化结果，展示特定属性（如“破洞”牛仔裤）层面的时尚趋势演变，而非潜在维度？

主要发现

• 所提出的模型在个性化排序任务中达到最先进性能，优于使用黑箱CNN特征的基线模型。
• 使用可解释的视觉特征在降低维度的同时，维持或提升了推荐准确性，优于现有方法。
• 用户亲和力向量 p_u 成功捕捉了个体用户对特定视觉属性（如“皮革”、“阔腿”）的偏好，支持直观的模型可解释性分析。
• 通过动态亲和力更新（公式 Eq. 6 和 Eq. 7）实现的交互式推荐，使用户能够通过选择商品或特征来定制推荐结果，显著提升可用性。
• 该模型可直接可视化特定视觉特征层面的时尚趋势演变，例如追踪“连体衣”或“破洞”风格等属性随时间的兴衰。
• 使用公式 Eq. 8 的时序趋势分析揭示了可解释的属性流行度变化，为现实世界时尚动态提供了洞察，而无需依赖模糊的潜在空间解释。