[论文解读] Towards Evaluating User Profiling Methods Based on Explicit Ratings on Item Features

Luca Luciano Costanzo, Yashar Deldjoo+3 more|arXiv (Cornell University)|Aug 29, 2019

Recommender Systems and Techniques参考文献 23被引用 4

一句话总结

本文对比了隐式用户画像方法与显式用户对电影特征（类型、演员、导演）的评分，发现推断出的用户偏好与实际偏好之间相似度较低。作者创建了一个公开可用的数据集，并发现即使是最优方法在类型特征上的平均余弦相似度也仅为58.07%，表明在推荐系统用户画像建模方面仍有巨大改进空间。

ABSTRACT

In order to improve the accuracy of recommendations, many recommender systems nowadays use side information beyond the user rating matrix, such as item content. These systems build user profiles as estimates of users' interest on content (e.g., movie genre, director or cast) and then evaluate the performance of the recommender system as a whole e.g., by their ability to recommend relevant and novel items to the target user. The user profile modelling stage, which is a key stage in content-driven RS is barely properly evaluated due to the lack of publicly available datasets that contain user preferences on content features of items. To raise awareness of this fact, we investigate differences between explicit user preferences and implicit user profiles. We create a dataset of explicit preferences towards content features of movies, which we release publicly. We then compare the collected explicit user feature preferences and implicit user profiles built via state-of-the-art user profiling models. Our results show a maximum average pairwise cosine similarity of 58.07\% between the explicit feature preferences and the implicit user profiles modelled by the best investigated profiling method and considering movies' genres only. For actors and directors, this maximum similarity is only 9.13\% and 17.24\%, respectively. This low similarity between explicit and implicit preference models encourages a more in-depth study to investigate and improve this important user profile modelling step, which will eventually translate into better recommendations.

研究动机与目标

• 探究用户对项目特征（如类型、演员）的显式评分与从电影评分中推导出的隐式用户画像之间的差异。
• 评估最先进用户画像方法在重建项目特征真实用户偏好方面的有效性。
• 解决当前缺乏公开可用的数据集以包含用户对项目内容特征的显式偏好，用于评估目的。
• 强调在基于内容和混合推荐系统中，用户画像阶段评估的关键缺口。
• 鼓励深入研究改进用户画像建模，以提升整体推荐准确性。

提出的方法

• 通过众包网络应用收集用户对电影特征（类型、演员、导演）的显式评分，创建了一个公开可用的数据集。
• 基于用户回答，将显式用户画像构建为二值向量，其中评分过的特征权重为1，其余为0。
• 在电影评分数据上应用四种最先进用户画像方法——Zhang、Li、Symeonidis和TF-IDF，以生成隐式用户画像。
• 使用余弦相似度和Jaccard相似度度量，计算显式与隐式画像之间的成对相似度。
• 在三种特征类型上评估相似度：类型（19类）、演员（567K个）和导演（58K个），涵盖不同特征基数。
• 对Jaccard相似度使用k-Top特征选择，通过聚焦每个用户最相关的特征来处理标量权重。

实验结果

研究问题

• RQ1 由最先进方法生成的隐式用户画像与显式用户偏好在项目特征上的相似度如何？
• RQ2 特征类型（如类型与演员）对显式与隐式用户画像之间相似度的影响是什么？
• RQ3 特征集合基数（如19种类型与567K名演员）如何影响用户画像方法的性能？
• RQ4 现有用户画像方法在多大程度上能准确重建通过显式评分表达的真实用户品味？
• RQ5 显式与隐式画像之间相似度低，是否可归因于用户评分中的噪声或建模技术的局限性？

主要发现

• 表现最佳的用户画像方法（Li）在电影类型上，其隐式画像与显式用户偏好的平均余弦相似度仅为58.07%。
• 对于演员，所有方法中最高的平均余弦相似度仅为9.13%，表明隐式模型与显式品味之间对齐程度极差。
• 对于导演，最高的平均余弦相似度为17.24%，仍显著偏低，表明该特征类型的用户偏好建模能力较弱。
• Jaccard相似度结果始终低于余弦相似度，最佳方法在类型上的相似度为36.19%，在演员上仅为5.73%。
• 所有特征类型中相似度均较低，凸显了当前隐式用户画像方法在捕捉真实用户偏好方面的局限性。
• 研究结果表明，不准确的用户画像建模可能是影响推荐准确性的关键瓶颈，亟需进一步研究改进画像建模技术。