[论文解读] UltraGCN: Ultra Simplification of Graph Convolutional Networks for Recommendation

Kelong Mao, Jieming Zhu+4 more|arXiv (Cornell University)|Oct 28, 2021

Recommender Systems and Techniques参考文献 35被引用 34

一句话总结

UltraGCN 提议在协同过滤的 GCNs 中跳过显式的多层消息传递，使用基于约束的损失来逼近无限层收敛，从而在推荐性能上表现出色，并实现显著的训练加速。

ABSTRACT

With the recent success of graph convolutional networks (GCNs), they have been widely applied for recommendation, and achieved impressive performance gains. The core of GCNs lies in its message passing mechanism to aggregate neighborhood information. However, we observed that message passing largely slows down the convergence of GCNs during training, especially for large-scale recommender systems, which hinders their wide adoption. LightGCN makes an early attempt to simplify GCNs for collaborative filtering by omitting feature transformations and nonlinear activations. In this paper, we take one step further to propose an ultra-simplified formulation of GCNs (dubbed UltraGCN), which skips infinite layers of message passing for efficient recommendation. Instead of explicit message passing, UltraGCN resorts to directly approximate the limit of infinite-layer graph convolutions via a constraint loss. Meanwhile, UltraGCN allows for more appropriate edge weight assignments and flexible adjustment of the relative importances among different types of relationships. This finally yields a simple yet effective UltraGCN model, which is easy to implement and efficient to train. Experimental results on four benchmark datasets show that UltraGCN not only outperforms the state-of-the-art GCN models but also achieves more than 10x speedup over LightGCN. Our source code will be available at https://reczoo.github.io/UltraGCN.

研究动机与目标

• 在大规模 recommender 系统中激发对更高效的基于 GCN 的协同过滤的需求。
• 识别 LightGCN 及相关模型中显式消息传递的局限性。
• 提出 UltraGCN，通过约束损失来逼近无限层图卷积。
• 在保持训练效率的同时，实现对不同关系类型的灵活加权。
• 在标准基准数据集上证明更高的准确性和效率。

提出的方法

• 形式化一个极度简化的 GCN UltraGCN，通过用约束损失近似无限层收敛状态来跳过显式的多层消息传递。
• 推导收敛表达式 e_u = sum_{i in N(u)} beta_{u,i} e_i，并通过带有 S 型（sigmoid）优化的约束损失 L_C 最大化余弦相似度。
• 结合负采样以减轻过平滑，得到包含正样本和负样本对的 L_C。
• 通过为每个物品选择前 K 个相似物品并用 omega_{i,j} 对配对进行加权，扩展 UltraGCN 以获得物品-物品图约束 L_I，用以捕捉物品-物品关系。
• 将损失整合为 L = L_O + lambda L_C + gamma L_I，以实现对用户-物品信息和物品-物品信息的灵活平衡。
• 讨论模型复杂度，以及在效率和参数数量方面 UltraGCN 与 MF 和 LightGCN 的比较。

实验结果

研究问题

• RQ1 在面向协同过滤的 GCNs 中，显式消息传递是否可以被逼近无限层收敛状态的基于约束的学习目标所替代？
• RQ2 应如何对不同关系类型（用户-物品、物品-物品、潜在的用户-用户）进行加权，以优化推荐性能和训练效率？
• RQ3 有选择地对物品-物品约束进行加权是否能在不牺牲可扩展性的前提下提升性能？
• RQ4 在标准基准数据集上采用 UltraGCN 的准确性和训练速度的经验提升有哪些？

主要发现

模型	Amazon-Book Recall@20	Amazon-Book NDCG@20	Yelp2018 Recall@20	Yelp2018 NDCG@20	Gowalla Recall@20	Gowalla NDCG@20	Movielens-1M Recall@20	Movielens-1M NDCG@20
UltraGCN	0.0681	0.0556	0.0683	0.0561	0.1862	0.1580	0.2787	0.2642
UltraGCN Base	0.0504	0.0393	0.0667	0.0552	0.1845	0.1566	0.2671	0.2539

• UltraGCN 在四个数据集上达到最先进或具备竞争力的性能，明显超过最强 GCN 基线（如 DGCF），差距显著（例如 Amazon-Book 上 Recall@20 高达 61.4%，NDCG@20 高达 71.6% 相较 DGCF）。
• UltraGCN Base 与带物品-物品学习的 UltraGCN 在基线之上持续提升，证明了基于约束的方法和选择性物品-物品学习的好处。
• UltraGCN 提供显著的训练效率，相较于 LightGCN 的加速幅度高达约 14x，并显著减少训练轮次和总时间（如在 Amazon-Book 上收敛需 75 个 epoch，总计约 45 分钟）。
• 该模型使用统一的 BCE 损失框架进行优化，具有良好的可扩展性，复杂度在考虑典型超参数（K、R、嵌入维度）后，与 MF 相当。
• 边权和约束系数（beta 和 omega）为 CF 任务中的用户-物品和物品-物品关系提供了可解释且更合理的表示。