[论文解读] Neural News Recommendation with Attentive Multi-View Learning

Chuhan Wu, Fangzhao Wu+4 more|arXiv (Cornell University)|Jul 12, 2019

Topic Modeling参考文献 19被引用 33

一句话总结

本文提出 NAML，一种神经新闻推荐系统，从多视角（标题、正文和类别）学习统一的新闻表示，具有词级、新闻级和视角级注意力，并从浏览过的新闻构建用户表示以提升推荐。

ABSTRACT

Personalized news recommendation is very important for online news platforms to help users find interested news and improve user experience. News and user representation learning is critical for news recommendation. Existing news recommendation methods usually learn these representations based on single news information, e.g., title, which may be insufficient. In this paper we propose a neural news recommendation approach which can learn informative representations of users and news by exploiting different kinds of news information. The core of our approach is a news encoder and a user encoder. In the news encoder we propose an attentive multi-view learning model to learn unified news representations from titles, bodies and topic categories by regarding them as different views of news. In addition, we apply both word-level and view-level attention mechanism to news encoder to select important words and views for learning informative news representations. In the user encoder we learn the representations of users based on their browsed news and apply attention mechanism to select informative news for user representation learning. Extensive experiments on a real-world dataset show our approach can effectively improve the performance of news recommendation.

研究动机与目标

• 通过利用多种信息源（标题、正文、类别）超越单一新闻视图，推动改进的新闻和用户表示。
• 开发一个带注意力的多视图新闻编码器，利用词级和视图级注意力融合多样化视图。
• 构建一个用户编码器，通过选择有信息量的浏览新闻来形成用户表示。
• 实现一个基于用户表示与候选新闻表示内积的点击预测器。
• 在真实世界的 MSN News 数据上进行评估，并展示相对于基线的性能提升。

提出的方法

• 提出一个新闻编码器，包含四个组件：标题编码器，采用 CNN 和词级注意力；正文编码器，采用 CNN 和词级注意力；类别编码器，通过稠密层将类别 ID 转换；以及用于对标题、正文、类别和子类别视图的重要性进行加权的视图级注意力。
• 通过使用视图级注意力将视图融合来计算统一的新闻表示： r = alpha_c r^c + alpha_sc r^sc + alpha_t r^t + alpha_b r^b。
• 在用户编码器中，学习用户表示通过对浏览新闻表示应用新闻级注意力来实现： u = sum_i alpha_i^n r_i。
• 使用内积 y_hat = u^T r_c 作为点击概率预测器，在训练时进行负采样以形成伪 K+1 分类任务。
• 端到端训练，使用负对数似然并对正样本与采样的负样本进行 softmax 归一化（K=4）。
• 实验设置：MSN News 数据集包含 10k 用户、42,255 条新闻、489,644 个正样本、6,651,940 个负样本；嵌入维度 300/100，CNN 过滤器 400，窗口大小 3， dropout 20%，Adam 优化器，批量大小 100。

实验结果

研究问题

• RQ1 多视图（标题、正文、类别）信息是否可以在新闻表示学习中优于单视图方法？
• RQ2 词级和视图级注意力是否能改善对有信息量词语和视图的选择以获得更好的新闻表示？
• RQ3 基于注意力的用户编码器利用浏览新闻是否可以改进用于点击预测的用户表示？
• RQ4 在真实世界数据上，NAML 与基线神经和传统推荐方法相比的性能如何？

主要发现

• NAML 在 AUC、MRR、nDCG@5、nDCG@10 上优于所有基线；最佳变体（NAML*）在所有基线上实现显著提升（p<0.001）。
• 使用正文视图比仅使用标题或类别获得更强的性能，综合所有视图还能带来进一步提升。
• 词级、新闻级和视图级注意力各自提升性能，三者结合可获得最佳结果。
• 视图级注意力显示正文视图通常更具信息量，但类别视图在主题方面也可能非常有用，验证了多视图方法。