[论文解读] On the Relationship between Explanation and Recommendation: Learning to Rank Explanations for Improved Performance

Lei Li, Yongfeng Zhang+1 more|arXiv (Cornell University)|Feb 1, 2021

Recommender Systems and Techniques被引用 4

一句话总结

本文提出一种联合排序框架，将解释选择视为可学习的排序任务，利用矩阵分解缓解用户-项目-解释交互中的数据稀疏性问题。通过使用加权损失函数联合优化项目推荐与解释排序，该方法在三个大规模数据集（含文本解释）上验证了其有效性，显著提升了推荐性能（NDCG最高提升89.4%）与解释质量。

ABSTRACT

Explaining to users why some items are recommended is critical, as it can help users to make better decisions, increase their satisfaction, and gain their trust in recommender systems (RS). However, existing explainable RS usually consider explanation as a side output of the recommendation model, which has two problems: (1) it is difficult to evaluate the produced explanations because they are usually model-dependent, and (2) as a result, how the explanations impact the recommendation performance is less investigated. In this paper, explaining recommendations is formulated as a ranking task, and learned from data, similar to item ranking for recommendation. This makes it possible for standard evaluation of explanations via ranking metrics (e.g., NDCG). Furthermore, this paper extends traditional item ranking to an item-explanation joint-ranking formalization to study if purposely selecting explanations could reach certain learning goals, e.g., improving recommendation performance. A great challenge, however, is that the sparsity issue in the user-item-explanation data would be inevitably severer than that in traditional user-item interaction data, since not every user-item pair can be associated with all explanations. To mitigate this issue, this paper proposes to perform two sets of matrix factorization by considering the ternary relationship as two groups of binary relationships. Experiments on three large datasets verify the solution's effectiveness on both explanation ranking and item recommendation.

研究动机与目标

• 为推荐系统中的解释缺乏标准化、离线评估指标的问题提供解决方案。
• 探究选择高质量解释是否能够提升推荐性能。
• 缓解用户-项目-解释三元组中比标准用户-项目交互更严重的数据稀疏性问题。
• 构建一个统一框架，通过共享表示联合优化项目推荐与解释排序。
• 利用NDCG等标准排序指标，实现对解释的定量、离线评估。

提出的方法

• 将解释生成建模为排序任务，即针对特定用户，对每个项目对解释进行排序，类似于推荐中的项目排序。
• 提出一种联合排序框架，通过带超参数α的加权损失函数，同时优化项目推荐与解释排序。
• 采用两阶段矩阵分解，将三元组用户-项目-解释关系建模为两组二元关系，降低稀疏性影响。
• 基于BPR、协同过滤与个性化项目特征，构建三种模型——BPER-J、CD-J与PITF-J，并适配于联合学习。
• 使用标准排序指标（NDCG、F1、MAP、MRR）在统一的离线设置下评估解释质量与推荐性能。
• 采用自比较策略，分析联合学习下解释性能与推荐性能之间的权衡关系。

Figure 1. A toy example of explanation ranking for a movie recommender system.

实验结果

研究问题

• RQ1 是否可以使用标准离线排序指标（如NDCG）以模型无关的方式评估解释质量？
• RQ2 联合优化解释排序与项目推荐是否能同时提升两项任务的性能？
• RQ3 用户-项目-解释三元组中的数据稀疏性如何影响模型性能？是否可有效缓解？
• RQ4 选择高质量解释是否能带来可测量的推荐性能提升？
• RQ5 在联合学习框架中，解释质量与推荐准确率之间的最优权衡是什么？

主要发现

• 联合排序框架在NDCG上相比非联合基线方法，项目推荐性能最高提升89.4%，且在所有三个数据集上均有显著增益。
• 所有模型在联合学习下均提升了解释排序性能，其中CD-J因推荐任务中数据稀疏性降低而获得显著提升。
• 最佳联合排序配置在Amazon数据集上使BPER-J的解释F1提升25.0%，推荐F1提升31.3%。
• 存在最优α值（如BPER-J在Amazon上为0.1–0.6），使解释与推荐性能同时提升，证明了相互促进的效益。
• 联合排序框架在解释与推荐任务上均显著优于独立训练，证实了共享优化的价值。
• 所提出的两阶段矩阵分解能有效缓解三元组用户-项目-解释交互中的数据稀疏性，支持可靠的联合学习。

Figure 2. Illustration of user-item-explanation interactions.