[论文解读] MultiBiSage: A Web-Scale Recommendation System Using Multiple Bipartite Graphs at Pinterest

Saket Gurukar, Nikil Pancha+6 more|arXiv (Cornell University)|May 21, 2022

Recommender Systems and Techniques被引用 5

一句话总结

MultiBiSage 提出了一种可扩展、适用于生产的推荐系统，通过利用多个二部图（捕捉多样化的 Pinterest 实体及其交互，如用户-图钉、用户-画板、用户-广告）来学习高质量的图钉嵌入表示，采用基于 Transformer 的聚合模型。该方法在多个参与度指标上显著优于现有部署的 PinSage 系统，通过整合异构图信号实现性能提升，同时复用现有基础设施以保障可扩展性。

ABSTRACT

Graph Convolutional Networks (GCN) can efficiently integrate graph structure and node features to learn high-quality node embeddings. These embeddings can then be used for several tasks such as recommendation and search. At Pinterest, we have developed and deployed PinSage, a data-efficient GCN that learns pin embeddings from the Pin-Board graph. The Pin-Board graph contains pin and board entities and the graph captures the pin belongs to a board interaction. However, there exist several entities at Pinterest such as users, idea pins, creators, and there exist heterogeneous interactions among these entities such as add-to-cart, follow, long-click. In this work, we show that training deep learning models on graphs that captures these diverse interactions would result in learning higher-quality pin embeddings than training PinSage on only the Pin-Board graph. To that end, we model the diverse entities and their diverse interactions through multiple bipartite graphs and propose a novel data-efficient MultiBiSage model. MultiBiSage can capture the graph structure of multiple bipartite graphs to learn high-quality pin embeddings. We take this pragmatic approach as it allows us to utilize the existing infrastructure developed at Pinterest -- such as Pixie system that can perform optimized random-walks on billion node graphs, along with existing training and deployment workflows. We train MultiBiSage on six bipartite graphs including our Pin-Board graph. Our offline metrics show that MultiBiSage significantly outperforms the deployed latest version of PinSage on multiple user engagement metrics.

研究动机与目标

• 通过整合除图钉-画板图之外的多样化用户交互行为，提升图钉嵌入的质量。
• 在无需单机训练的前提下，实现对大规模数据（48亿+个节点，97亿+条边）上异构图神经网络的可扩展训练。
• 保持与现有生产基础设施的兼容性，包括 Pixie 的邻居采样机制以及现有的训练/部署流水线。
• 证明多图学习相比单图方法能显著提升下游推荐性能。
• 通过识别最小有效邻居数量，在保持性能的同时优化推理效率。

提出的方法

• 将 Pinterest 的异构图分解为六个独立的二部图，每个图代表一种不同的实体交互类型（如用户-图钉、用户-画板、用户-广告）。
• 利用 Pixie 系统通过在百亿节点图上进行优化的随机游走，预计算图钉的局部图邻域。
• 训练 MultiBiSage 模型，通过 Transformer 编码器架构从每个二部图中独立学习图钉嵌入表示。
• 使用第二层 Transformer 层对来自 k 个二部图的 k 个独立嵌入进行聚合，生成最终的统一图钉嵌入。
• 在最终聚合前，采用特征聚合技术（如逐元素相加、Hadamard 积或前馈网络 FFN）组合嵌入表示。
• 复用现有的训练与特征提取工作流，以确保生产可行性并降低工程实现成本。

实验结果

研究问题

• RQ1 与仅使用图钉-画板图相比，从多个异构二部图中学习是否能提升图钉嵌入的质量？
• RQ2 每张图中采样邻居数量的多少如何影响模型性能与推理速度？
• RQ3 哪些独立的二部图对推荐性能的提升贡献最为显著？
• RQ4 基于 Transformer 的聚合机制是否能有效结合来自多个图结构的信号？
• RQ5 是否可能在减少邻居数量的同时保持高性能并维持推理效率？

主要发现

• 在全部六个二部图上训练的 MultiBiSage 模型，在所有参与度指标上均显著优于现有部署的 PinSage 模型，广告相关指标提升 4.3%，创意图钉（idea pins）指标提升 3.18% 至 4.42%。
• 每张图采样 50 个邻居的模型优于采样 10 或 20 个邻居的模型，但 10 个与 20 个邻居的模型之间无统计显著差异。
• 引入用户-广告图和用户-产品图分别在广告和商品图钉的推荐性能上带来显著提升。
• 案例研究显示，MultiBiSage 显著改善了语义对齐：被互动的图钉在 PinSage 的 Top-5 中排名从第 364 位提升至第 5 位，且其 5 个最近邻中有 4 个与电动滑板车相关。
• 仅在单个二部图（排除图钉-画板图）上训练的模型表现均弱于 PinSage，证实了图钉-画板图在规模上的主导作用。
• 聚合方法的选择（如求和、Hadamard 积、FFN）对性能影响极小，在 0.01 显著性水平下无统计显著差异。