[论文解读] Near-Data Processing for Differentiable Machine Learning Models

Hyeokjun Choe, Se-Il Lee+5 more|arXiv (Cornell University)|Oct 6, 2016

Advanced Data Storage Technologies参考文献 29被引用 3

一句话总结

本文提出 ISP-ML，一个用于多通道 SSD 上存储内处理（ISP）的完整仿真器，用于评估近数据处理（NDP）在可微分机器学习模型中加速随机梯度下降（SGD）的性能。结果表明，基于 ISP 的 SGD 通过减少数据移动并利用 NAND 通道间的并行性，相较于传统的主机内处理显著提升了性能，其性能增益已在缩放后的 MNIST 数据集上对同步、Downpour 和弹性平均 SGD 变体的仿真中得到验证。

ABSTRACT

Near-data processing (NDP) refers to augmenting memory or storage with processing power. Despite its potential for acceleration computing and reducing power requirements, only limited progress has been made in popularizing NDP for various reasons. Recently, two major changes have occurred that have ignited renewed interest and caused a resurgence of NDP. The first is the success of machine learning (ML), which often demands a great deal of computation for training, requiring frequent transfers of big data. The second is the popularity of NAND flash-based solid-state drives (SSDs) containing multicore processors that can accommodate extra computation for data processing. In this paper, we evaluate the potential of NDP for ML using a new SSD platform that allows us to simulate instorage processing (ISP) of ML workloads. Our platform (named ISP-ML) is a full-fledged simulator of a realistic multi-channel SSD that can execute various ML algorithms using data stored in the SSD. To conduct a thorough performance analysis and an in-depth comparison with alternative techniques, we focus on a specific algorithm: stochastic gradient descent (SGD), which is the de facto standard for training differentiable models such as logistic regression and neural networks. We implement and compare three SGD variants (synchronous, Downpour, and elastic averaging) using ISP-ML, exploiting the multiple NAND channels to parallelize SGD. In addition, we compare the performance of ISP and that of conventional in-host processing, revealing the advantages of ISP. Based on the advantages and limitations identified through our experiments, we further discuss directions for future research on ISP for accelerating ML.

研究动机与目标

• 评估近数据处理（NDP）在加速机器学习工作负载方面的潜力，特别是利用 SSD 内部处理能力来加速可微分模型中的随机梯度下降（SGD）。
• 设计并实现一个真实、完整的系统级仿真器（ISP-ML），能够模拟具备存储内处理功能的多通道 SSD。
• 比较在使用 SGD 变体训练可微分模型时，存储内处理（ISP）与传统主机内处理（IHP）的性能表现。
• 识别基于 ISP 的机器学习工作负载中的性能瓶颈与未来优化机会。
• 探索主机与 SSD 之间的系统级协作机制，以实现高层与低层机器学习任务的混合执行。

提出的方法

• 开发了 ISP-ML，一个真实多通道 NAND 闪存 SSD 的系统级仿真器，支持使用通用 ARM 处理器的存储操作与存储内处理功能。
• 在 ISP-ML 框架内实现了三种并行 SGD 变体——同步、Downpour 和弹性平均 SGD，以利用 SSD 通道间的数据级并行性。
• 通过从主机执行中提取 I/O 轨迹来模拟基线 SSD 的 I/O 时间，确保在一致的非 I/O 条件下，ISP 与 IHP 之间的性能比较公平。
• 假设存储类型对非 I/O 时间的影响可忽略，从而将关注点集中于 ISP 与 IHP 之间的 I/O 和处理开销差异。
• 通过模拟 10 倍缩放的 MNIST 数据集，评估更大工作负载下的性能表现，同时保持数据访问模式的真实性。
• 通过分析 ISP-ML 框架中 DRAM 缓冲区、缓存控制器和通道控制器之间的内存使用分布，探索架构权衡。

实验结果

研究问题

• RQ1 在多通道 SSD 上的存储内处理（ISP）能否有效加速可微分机器学习模型的训练，特别是使用随机梯度下降（SGD）的模型？
• RQ2 与传统主机内处理（IHP）相比，基于 ISP 的 SGD 在执行时间与数据移动减少方面表现如何？
• RQ3 在 ISP 环境中，不同并行 SGD 变体（同步、Downpour、弹性平均）的相对优势与局限性是什么？
• RQ4 如何设计主机与 SSD 之间的系统级协作机制，以在混合机器学习工作负载中实现性能优化？
• RQ5 哪些架构优化（如元数据预计算、数据重排或可变页大小）可进一步提升 ISP 在机器学习工作负载中的性能？

主要发现

• ISP-ML 成功模拟了具备存储内处理能力的真实多通道 SSD，使 NDP 在机器学习工作负载中的详细评估成为可能。
• 性能对比显示，基于 ISP 的 SGD 显著减少了数据移动开销，相较于主机内处理带来了可测量的执行时间改进。
• 在三种 SGD 变体中，弹性平均 SGD（EASGD）在 ISP 环境中表现出良好的收敛行为与性能特征，这得益于其对异步更新的鲁棒性。
• 仿真结果表明，SSD 控制器的空闲处理能力可被有效用于机器学习计算，尤其在数据被分区到多个 NAND 通道时更为显著。
• 本研究识别出关键挑战，如通道控制器中的内存瓶颈以及当样本大小超过 NAND 页面大小时的数据碎片化问题，提示需要进行架构优化。
• 未来工作表明，结合 IHP 与 ISP 具有前景，即由主机处理高层模型逻辑，SSD 执行低层数据依赖操作，从而提升整体系统效率。