[论文解读] RecSSD: Near Data Processing for Solid State Drive Based Recommendation Inference

Mark Wilkening, Udit Gupta+5 more|arXiv (Cornell University)|Jan 29, 2021

Advanced Data Storage Technologies参考文献 30被引用 4

一句话总结

RecSSD 提出了一种近数据处理（NDP）架构，将推荐推理中的关键性能瓶颈——嵌入表操作直接卸载至固态硬盘（SSD），与传统SSD相比，端到端推理延迟最高降低2倍。通过在SSD上原生执行gather和聚合计算，并结合主机端与设备端的缓存机制，RecSSD在真实OpenSSD平台上实现了嵌入操作延迟最高降低4倍。

ABSTRACT

Neural personalized recommendation models are used across a wide variety of datacenter applications including search, social media, and entertainment. State-of-the-art models comprise large embedding tables that have billions of parameters requiring large memory capacities. Unfortunately, large and fast DRAM-based memories levy high infrastructure costs. Conventional SSD-based storage solutions offer an order of magnitude larger capacity, but have worse read latency and bandwidth, degrading inference performance. RecSSD is a near data processing based SSD memory system customized for neural recommendation inference that reduces end-to-end model inference latency by 2X compared to using COTS SSDs across eight industry-representative models.

研究动机与目标

• 解决数据中心推荐系统中基于大容量DRAM的嵌入表所带来的高基础设施成本与性能瓶颈问题。
• 克服传统SSD在用于大容量、低延迟推荐推理时面临的延迟与带宽限制。
• 通过利用具备智能设备端处理能力的SSD，实现大推荐模型的低成本、可扩展部署。
• 通过开源硬件与标准NVMe接口，在生产级数据中心系统中证明近数据处理（NDP）的实际可行性。

提出的方法

• 利用近数据处理（NDP）能力，将整个嵌入表操作（gather与聚合）从CPU卸载至SSD。
• 在SSD的FTL（闪存转换层）中集成自定义固件，以在不更改主机硬件或协议的前提下执行NDP工作负载。
• 采用混合缓存策略，结合主机端DRAM缓存与SSD端缓存，以利用查询访问的局部性特征。
• 使用修改后的UNVMe驱动库向主机暴露NDP接口，实现与现有推荐工作负载的无缝集成。
• 基于Facebook DLRM的现实世界追踪数据与合成工作负载，模拟生产规模的访问模式。
• 在真实Cosmos+OpenSSD平台上实现该系统，采用Xilinx SDK与符合NVMe标准的固件，确保生产环境可用性。

Figure 1. Recommendation models process both categorical and continuous input features.

实验结果

研究问题

• RQ1 与传统SSD相比，SSD中的近数据处理是否能显著降低神经网络推荐模型的端到端推理延迟？
• RQ2 设备端执行嵌入操作计算，在缓解DRAM与SSD存储间性能差距方面效果如何？
• RQ3 主机端与SSD端缓存机制在降低推荐推理工作负载延迟方面，其互补性达到何种程度？
• RQ4 是否可在无需硬件修改的前提下，将完全基于软件的NDP解决方案部署于通用SSD上？
• RQ5 RecSSD在多样化、具有行业代表性的推荐模型上的性能影响如何？

主要发现

• 与基线商用SSD相比，RecSSD在八种具有行业代表性的推荐模型上，将端到端推理延迟最高降低2倍。
• 对于以内存访问为主导的模型，RecSSD在单个嵌入表操作中实现最高4倍的延迟降低。
• 对于其中五种计算密集型、内存访问不占主导的模型，RecSSD性能与基于DRAM的系统相当。
• RecSSD的混合缓存策略通过有效利用真实推荐工作负载中观察到的访问局部性特征，显著降低了整体延迟。
• 在采用标准NVMe接口的真实OpenSSD平台上实现该系统，证实了在数据中心环境中部署NDP的可行性与实用性。
• 该系统仅通过FTL与UNVMe栈中的固件与驱动修改实现性能提升，无需任何硬件变更。

Figure 2. In order to support a high performance and simple logical block interface to the host while handling the peculiarities of NAND Flash memories, SSDs are designed with a Microprocessor operating alongside dedicated memory controllers.