[论文解读] The Architectural Implications of Facebook's DNN-based Personalized Recommendation

Udit Gupta, Carole-Jean Wu+13 more|arXiv (Cornell University)|Jun 6, 2019

Recommender Systems and Techniques参考文献 51被引用 14

一句话总结

本文针对 Facebook 生产规模的基于深度神经网络（DNN）的个性化推荐系统进行了详细的性能分析，重点关注英特尔服务器各代产品在推理工作负载下的表现。研究发现，推理延迟在 Haswell、Broadwell 和 Skylake CPU 之间差异高达 60%，而批处理与共置技术显著提升了吞吐量，其中 Skylake 在批处理、计算密集型工作负载中表现优异，得益于 AVX-512 指令集和更高的计算密度。

ABSTRACT

The widespread application of deep learning has changed the landscape of computation in the data center. In particular, personalized recommendation for content ranking is now largely accomplished leveraging deep neural networks. However, despite the importance of these models and the amount of compute cycles they consume, relatively little research attention has been devoted to systems for recommendation. To facilitate research and to advance the understanding of these workloads, this paper presents a set of real-world, production-scale DNNs for personalized recommendation coupled with relevant performance metrics for evaluation. In addition to releasing a set of open-source workloads, we conduct in-depth analysis that underpins future system design and optimization for at-scale recommendation: Inference latency varies by 60% across three Intel server generations, batching and co-location of inferences can drastically improve latency-bounded throughput, and the diverse composition of recommendation models leads to different optimization strategies.

研究动机与目标

• 为学术研究中缺乏代表性、生产规模的推荐系统 DNN 工作负载提供支持。
• 刻画大规模推荐推理中的独特性能瓶颈，包括内存访问模式和计算强度。
• 评估硬件平台异构性（英特尔 Haswell、Broadwell、Skylake）对推理延迟和吞吐量的影响。
• 研究批处理和推理任务共置对资源利用率和性能波动的影响。
• 公开发布工作负载和追踪数据，以支持未来针对大规模推荐系统的系统与架构优化。

提出的方法

• 基于真实 Facebook 数据中心追踪数据，对三种主要的生产推荐模型类别（RMC1、RMC2、RMC3）进行表征。
• 设计了能够模拟真实推荐模型计算与内存特征的合成 DNN 工作负载，包括嵌入表和全连接层。
• 在不同批处理大小和工作负载条件下，评估了三款英特尔服务器代际（Haswell、Broadwell、Skylake）的推理性能。
• 将延迟受限吞吐量作为关键性能指标，以反映实际生产环境中的 SLO 约束。
• 开展共置实验，评估多个推理任务共享同一硬件时的性能波动情况。
• 公开发布开源的嵌入追踪生成工具，以支持内存系统与缓存优化研究。

实验结果

研究问题

• RQ1 在生产规模的推荐工作负载中，不同代际的英特尔 CPU 在推理性能特征上如何变化？
• RQ2 批处理与共置对推荐推理中延迟受限吞吐量有何影响？
• RQ3 RMC1、RMC2 和 RMC3 模型独特的架构特性如何影响其性能瓶颈与最优硬件配置？
• RQ4 现有公开基准测试（如 MLPerf-NCF）在多大程度上能代表真实生产环境中推荐系统的计算与内存需求？
• RQ5 哪些关键微架构特性（例如 SIMD 宽度、缓存大小、DRAM 带宽）会影响数据中心中推理性能与调度？

主要发现

• 在英特尔 Haswell、Broadwell 和 Skylake 服务器代际之间，推理延迟差异最高可达 60%，其中 Broadwell 在单位批处理大小下实现了最低延迟。
• 由于更高的计算密度和对 AVX-512 指令集的更好利用，Skylake 在批处理推理中实现了最高吞吐量，相比其他代际最高可提升 30%。
• 多个推理任务共置会增加性能波动，凸显了智能调度在管理资源争用方面的必要性。
• 仅以延迟作为性能指标不足以反映数据中心规模工作负载的真实情况；在 SLO 约束下，延迟受限吞吐量是更具代表性的指标。
• 推荐模型表现出多样的性能瓶颈：RMC1 和 RMC3 为计算密集型，受益于高核心频率和宽 SIMD 单元；而嵌入密集型模型则受限于内存带宽和缓存容量。
• 开源发布嵌入追踪生成工具，为未来研究智能缓存、预取以及推荐工作负载的内存系统优化提供了支持。