[论文解读] When Lempel-Ziv-Welch Meets Machine Learning: A Case Study of Accelerating Machine Learning using Coding.

Fengan Li, Lingjiao Chen+4 more|arXiv (Cornell University)|Feb 22, 2017

Algorithms and Data Compression参考文献 31被引用 4

一句话总结

本文提出了一种新颖的 Lempel-Ziv-Welch (LZW) 编码变体在机器学习算法中的应用，可在不损失准确率的前提下显著加速算法执行。通过将改进的 LZW 方案集成到机器学习训练流水线中，该方法在真实世界数据集上实现了高达 31 倍的加速，表明当编码技术与优化算法和模型结构恰当对齐时，可显著提升机器学习效率。

ABSTRACT

In this paper we study the use of coding techniques to accelerate machine learning (ML). Coding techniques, such as prefix codes, have been extensively studied and used to accelerate low-level data processing primitives such as scans in a relational database system. However, there is little work on how to exploit them to accelerate ML algorithms. In fact, applying coding techniques for faster ML faces a unique challenge: one needs to consider both how the codes fit into the optimization algorithm used to train a model, and the interplay between the model structure and the coding scheme. Surprisingly and intriguingly, our study demonstrates that a slight variant of the classical Lempel-Ziv-Welch (LZW) coding scheme is a good fit for several popular ML algorithms, resulting in substantial runtime savings. Comprehensive experiments on several real-world datasets show that our LZW-based ML algorithms exhibit speedups of up to 31x compared to a popular and state-of-the-art ML library, with no changes to ML accuracy, even though the implementations of our LZW variants are not heavily tuned. Thus, our study reveals a new avenue for accelerating ML algorithms using coding techniques and we hope this opens up a new direction for more research.

研究动机与目标

• 探索编码技术（尤其是前缀码）在加速机器学习工作负载方面的潜力。
• 解决编码方案与机器学习优化算法及模型结构之间对齐的独特挑战。
• 评估经典 Lempel-Ziv-Welch (LZW) 编码方法的变体是否可有效集成到主流机器学习算法中。
• 证明基于编码的加速在真实世界机器学习场景中是可行且有效的，且不会损害模型准确率。
• 为利用数据压缩技术提升机器学习性能开辟新的研究方向。

提出的方法

• 设计了一种改进的经典 Lempel-Ziv-Welch (LZW) 编码方案，使其与机器学习训练算法的计算模式兼容。
• 将该编码方案集成到机器学习算法的数据处理流水线中，替代或优化传统的数据访问与聚合模式。
• 利用 LZW 的前缀码特性，减少冗余计算，并加速机器学习训练中的扫描与聚合等操作。
• 该方法被应用于多种标准机器学习算法，且未对底层模型准确率或训练目标进行任何修改。
• 在多个真实世界数据集上评估了该方法的性能提升，以衡量其在真实条件下的表现。
• 未对 LZW 变体进行大量调优，突显了该方法的稳健性。

实验结果

研究问题

• RQ1 Lempel-Ziv-Welch (LZW) 编码方案的变体能否被有效用于加速机器学习算法？
• RQ2 编码方案、模型结构与优化算法之间的相互作用如何影响机器学习性能？
• RQ3 编码技术在不降低模型准确率的前提下，能在多大程度上减少机器学习训练的运行时间？
• RQ4 基于 LZW 的加速性能增益是否在多种真实世界数据集中保持一致？
• RQ5 该方法能否作为一类新型基于数据编码的机器学习加速器的基础？

主要发现

• 所提出的基于 LZW 的机器学习算法在真实世界数据集上相比最先进的机器学习库，实现了高达 31 倍的加速。
• 性能提升未对模型准确率造成任何影响，确保了训练模型的完整性。
• 加速效果在多种机器学习算法中均被观察到，表明该基于编码的加速技术具有广泛的适用性。
• 所获得的结果基于未经过大量调优的 LZW 变体，表明该方法本身具有内在的高效性与稳健性。
• 本研究揭示，编码技术（尤其是 LZW）可成为加速机器学习工作负载的强大但尚未被充分探索的途径。
• 研究结果为将数据压缩与编码理论整合到机器学习算法设计中开辟了新的研究方向。