[论文解读] Understanding Latent Factors Using a GWAP

Johannes Kunkel, Benedikt Loepp+1 more|arXiv (Cornell University)|Aug 29, 2018

Recommender Systems and Techniques参考文献 11被引用 6

一句话总结

本文提出了一种面向目的的游戏（GWAP），通过输出一致性的游戏机制，自动收集基于矩阵分解推荐系统中潜在因子的人类生成语义描述。通过让玩家描述代表每个因子的共享电影集合，系统收集到了有意义、多样化且独特的术语——经由高匹配率与因子描述间低余弦相似度验证，表明该方法在提升模型可解释性方面具有有效性。

ABSTRACT

Recommender systems relying on latent factor models often appear as black boxes to their users. Semantic descriptions for the factors might help to mitigate this problem. Achieving this automatically is, however, a non-straightforward task due to the models' statistical nature. We present an output-agreement game that represents factors by means of sample items and motivates players to create such descriptions. A user study shows that the collected output actually reflects real-world characteristics of the factors.

研究动机与目标

• 通过实现对抽象因子的自动、人工驱动的解释，解决推荐系统中潜在因子模型的不透明性问题。
• 探索玩家是否能通过基于游戏的界面协作生成有意义且一致的潜在因子语义描述。
• 评估所收集的描述是否反映现实世界中的语义差异，并适合用于解释推荐结果。
• 评估使用GWAP在无需预定义标签或复杂可视化的情况下获取因子解释的可行性和质量。

提出的方法

• 设计了一款基于网络的GWAP，两名玩家被随机配对，每轮展示每个潜在因子的三部代表性电影，目标是输入相同的描述性术语。
• 游戏采用输出一致性机制：当玩家的猜测匹配时获得积分，从而激励其就电影集合的共享语义特征达成共识。
• 每个因子的代表性电影基于综合得分选取，综合考虑流行度、与因子的相关性以及特异性，以避免冗余。
• 系统记录所有猜测与匹配结果，将至少两次匹配的术语（X=2）视为有意义，用于分析。
• 为每个因子的术语集计算TF-IDF向量，通过余弦相似度衡量因子之间的语义相似度。
• 通过173场游戏的用户研究，利用标准化问卷和交互日志评估参与度、可用性以及所收集描述的质量。

实验结果

研究问题

• RQ1 GWAP能否有效获取矩阵分解模型中潜在因子的人类生成语义描述？
• RQ2 所收集的描述是否反映出因子之间的现实语义差异，表现为因子间相似度低？
• RQ3 游戏是否足够吸引人且可用，以激励持续的玩家参与并产出高质量输出？
• RQ4 所收集的术语在多大程度上反映了因子的实际语义特征，而非仅依赖电影海报等表面线索？

主要发现

• GWAP成功收集了5,741条猜测和545次匹配，平均每因子54.5次匹配，每场游戏3.15次匹配，表明玩家参与度高。
• 因子描述向量之间的平均余弦相似度极低（M=0.09，SD=0.13），证实了因子在语义上的高度多样性和独特性。
• 玩家在IMI量表上的平均愉悦度得分为4.79（满分7分），SUS可用性得分为79，表明感知趣味性和可用性均较高。
• 游戏更倾向于生成通用术语如“动作”和“喜剧”，但也产生了具体术语（如因子2的“狗”），表明在数据量更大时可能捕捉到更细微的语义。
• 玩家报告理解了电影为何被归为一组（M=2.74），并认为提供的信息足够充分（M=3.06），其中海报最为有帮助（M=4.32）。
• 该方法证明了在不依赖预定义标签或复杂可视化的情况下，生成可解释、人类可读因子描述的可行性。