[论文解读] PEPNet: Parameter and Embedding Personalized Network for Infusing with Personalized Prior Information

Jianxin Chang, Chenbin Zhang+5 more|arXiv (Cornell University)|Feb 2, 2023

Recommender Systems and Techniques被引用 4

一句话总结

PEPNet 是一种即插即用的神经网络，通过门控机制动态个性化嵌入特征和深度神经网络参数，从而增强多领域和多任务推荐。在快手的生产系统中，其在多个指标上实现了超过1%的在线性能提升，服务超过30000万用户每日。

ABSTRACT

With the increase of content pages and interactive buttons in online services such as online-shopping and video-watching websites, industrial-scale recommender systems face challenges in multi-domain and multi-task recommendations. The core of multi-task and multi-domain recommendation is to accurately capture user interests in multiple scenarios given multiple user behaviors. In this paper, we propose a plug-and-play extit{ extbf{P}arameter and extbf{E}mbedding extbf{P}ersonalized extbf{Net}work ( extbf{PEPNet})} for multi-domain and multi-task recommendation. PEPNet takes personalized prior information as input and dynamically scales the bottom-level Embedding and top-level DNN hidden units through gate mechanisms. extit{Embedding Personalized Network (EPNet)} performs personalized selection on Embedding to fuse features with different importance for different users in multiple domains. extit{Parameter Personalized Network (PPNet)} executes personalized modification on DNN parameters to balance targets with different sparsity for different users in multiple tasks. We have made a series of special engineering optimizations combining the Kuaishou training framework and the online deployment environment. By infusing personalized selection of Embedding and personalized modification of DNN parameters, PEPNet tailored to the interests of each individual obtains significant performance gains, with online improvements exceeding 1\% in multiple task metrics across multiple domains. We have deployed PEPNet in Kuaishou apps, serving over 300 million users every day.

研究动机与目标

• 解决工业推荐系统中数据稀疏性与领域/任务分布偏移共现的不完美双重跷跷板问题。
• 在不牺牲模型效率或部署成本的前提下，实现多个领域和多个任务的有效联合学习。
• 引入一种即插即用的架构，将个性化先验信息注入嵌入空间和参数空间。
• 克服现有多领域和多任务学习方法在同时处理语义异质性和目标稀疏性方面的局限性。
• 通过与快手的训练和推理流水线集成，优化真实场景部署，确保大规模低延迟推理。

提出的方法

• 提出双分支架构：嵌入个性化网络（EPNet）和参数个性化网络（PPNet），各自使用可学习的门控机制。
• EPNet 通过用户特定的门控机制动态缩放嵌入特征，基于其对单个用户的关联性实现个性化特征融合。
• PPNet 使用任务和用户特定的门控机制调制 DNN 隐层单元激活，按用户和任务自适应调整模型参数，以平衡稀疏性。
• 将个性化先验信息（如用户行为历史）作为门控网络的输入，实现基于用户的动态自适应。
• 设计模块化、即插即用的结构，兼容现有推荐模型，最大限度减少重训练和部署开销。
• 应用工程优化以实现高效训练和在线推理，包括量化感知训练和快手框架内的模型分区。

实验结果

研究问题

• RQ1 如何在处理任务特定稀疏性的同时，有效建模多个领域间异质的特征语义和重要性？
• RQ2 个性化门控机制是否能在不增加模型复杂度的前提下提升多领域和多任务推荐性能？
• RQ3 将个性化先验信息集成到嵌入空间和参数空间，对模型泛化能力和在线指标有何影响？
• RQ4 动态参数和嵌入个性化对大规模工业推荐系统中双重跷跷板现象有何影响？
• RQ5 即插即用架构是否能在保持低推理延迟的前提下，在真实部署中实现显著的性能提升？

主要发现

• 在快手的多领域、多任务推荐系统中，PEPNet 在多个关键指标（如 CTR、用户参与度）上实现了超过1%的在线性能提升。
• 该模型通过在多个领域和任务间实现个性化特征选择和参数自适应，显著缓解了双重跷跷板效应。
• 通过 EPNet 实现的嵌入个性化，基于用户特定的相关性对嵌入进行加权，提升了特征融合质量，增强了表征能力。
• 通过 PPNet 实现的参数个性化，通过按用户和任务自适应调整 DNN 权重，有效平衡了稀疏与密集预测目标。
• 即插即用的设计使模型能够无缝集成到快手现有的训练和推理流水线中，工程开销极低。
• 离线与在线评估均证实，该模型在多种推荐场景（包括短视频发现和类电商交互）中保持了持续的性能提升。