[论文解读] Point-of-Interest Recommendation: Exploiting Self-Attentive Autoencoders with Neighbor-Aware Influence

Chen Ma, Yingxue Zhang+2 more|arXiv (Cornell University)|Sep 27, 2018

Recommender Systems and Techniques参考文献 35被引用 12

一句话总结

该论文提出了一种基于自注意力编码器的新型自编码器模型 SAE-NAD，用于地点推荐（POI）。该模型利用自注意力编码器动态加权用户签到的 POI，基于其偏好强度；并通过邻近感知解码器，利用径向基函数核（RBF）建模地理影响。该方法在三个真实世界的位置社交网络（LBSN）数据集上实现了最先进性能，有效捕捉了来自稀疏隐式反馈的非线性用户-POI 交互关系与空间上下文信息。

ABSTRACT

The rapid growth of Location-based Social Networks (LBSNs) provides a great opportunity to satisfy the strong demand for personalized Point-of-Interest (POI) recommendation services. However, with the tremendous increase of users and POIs, POI recommender systems still face several challenging problems: (1) the hardness of modeling non-linear user-POI interactions from implicit feedback; (2) the difficulty of incorporating context information such as POIs' geographical coordinates. To cope with these challenges, we propose a novel autoencoder-based model to learn the non-linear user-POI relations, namely extit{SAE-NAD}, which consists of a self-attentive encoder (SAE) and a neighbor-aware decoder (NAD). In particular, unlike previous works equally treat users' checked-in POIs, our self-attentive encoder adaptively differentiates the user preference degrees in multiple aspects, by adopting a multi-dimensional attention mechanism. To incorporate the geographical context information, we propose a neighbor-aware decoder to make users' reachability higher on the similar and nearby neighbors of checked-in POIs, which is achieved by the inner product of POI embeddings together with the radial basis function (RBF) kernel. To evaluate the proposed model, we conduct extensive experiments on three real-world datasets with many state-of-the-art baseline methods and evaluation metrics. The experimental results demonstrate the effectiveness of our model.

研究动机与目标

• 解决在基于位置的社交网络（LBSNs）中，从稀疏隐式签到数据中建模非线性、复杂用户-POI 交互关系的挑战。
• 通过自适应注意力机制学习个性化用户偏好，克服现有方法将所有签到 POI 视为同等重要所带来的局限性。
• 通过建模邻近 POI 对用户可达性的影响，将地理上下文信息整合到基于深度学习的 POI 推荐中。
• 通过联合优化用户表征与空间感知预测，利用结构化自编码器框架，提升推荐准确性。

提出的方法

• 采用自注意力编码器（SAE），为每个签到 POI 计算一个多维重要性向量，使模型能够根据多个方面区分用户偏好强度。
• 在自编码器中使用加权损失函数，优先考虑更具代表性的 POI，以增强用户表征学习的个性化程度。
• 设计邻近感知解码器（NAD），通过计算 POI 嵌入向量的内积，并应用径向基函数（RBF）核来编码空间接近度，从而建模地理影响。
• 将地理影响整合到最终的解码器层中，基于未访问 POI 与已签到 POI 的相似性和接近度，提升其预测得分。
• 使用隐式反馈端到端训练堆叠自编码器，目标是重建用户签到模式，同时捕捉非线性关系。
• 通过组合重建损失与正则化项优化模型，其中超参数控制注意力深度（$d_a$）与地理相关性（$\gamma$）。

实验结果

研究问题

• RQ1 自注意力机制是否能通过自适应加权签到 POI 的代表性，从而改善用户偏好的建模？
• RQ2 通过邻近感知解码器引入地理上下文，对 POI 推荐模型的性能有何影响？
• RQ3 具有非线性激活函数的深度自编码器架构在稀疏隐式反馈数据上，相较于传统矩阵分解与协同过滤方法，能多大程度上实现性能超越？
• RQ4 超参数 $d_a$（注意力维度数量）与 $\gamma$（地理相关性水平）对模型泛化能力与性能的影响如何？

主要发现

• 自注意力编码器（SAE）显著优于标准自编码器，在 Gowalla 上 P@10 从 0.05599 提升至 0.06039，在 Foursquare 上从 0.05961 提升至 0.06346，在 Yelp 上从 0.03764 提升至 0.03951。
• 邻近感知解码器（NAD）在所有数据集上均达到最佳性能，P@10 分别达到 0.07029（Gowalla）、0.06598（Foursquare）与 0.04115（Yelp），证明了地理上下文的重要性。
• SAE 与 NAD 的结合（即 SAE-NAD）在所有三个数据集的所有指标（P@10、R@10、MAP@10）上均优于所有基线方法，包括 WRMF、BPRMF 和 DeepAE。
• 随着 $d_a$（注意力维度数量）增加，模型性能持续提升，约在 $d_a = 8$ 时达到峰值并趋于稳定，表明多维度注意力能有效捕捉复杂用户偏好。
• 地理相关性参数 $\gamma$ 具有显著影响：当 $\gamma = 0$ 时性能显著下降，证实空间接近度对准确 POI 推荐至关重要。
• 消融实验表明，SAE 与 NAD 两个组件均独立贡献性能提升，其中 NAD 贡献最大，凸显了空间建模的价值。