[论文解读] Runtime Optimizations for Prediction with Tree-Based Models

Nima Asadi, Jimmy Lin+1 more|arXiv (Cornell University)|Dec 11, 2012

Machine Learning and Data Classification参考文献 21被引用 5

一句话总结

本文提出了一种架构感知的优化技术——缓存友好的内存布局、无分支预测和向量化微批次处理，以加速基于树的机器学习模型的预测。通过利用现代CPU的缓存层次结构和超长指令字执行等特性，作者在真实世界的排序学习工作负载上，相较于标准的if-else实现，将推理速度最高提升了38%。

ABSTRACT

Tree-based models have proven to be an effective solution for web ranking as well as other problems in diverse domains. This paper focuses on optimizing the runtime performance of applying such models to make predictions, given an already-trained model. Although exceedingly simple conceptually, most implementations of tree-based models do not efficiently utilize modern superscalar processor architectures. By laying out data structures in memory in a more cache-conscious fashion, removing branches from the execution flow using a technique called predication, and micro-batching predictions using a technique called vectorization, we are able to better exploit modern processor architectures and significantly improve the speed of tree-based models over hard-coded if-else blocks. Our work contributes to the exploration of architecture-conscious runtime implementations of machine learning algorithms.

研究动机与目标

• 解决由于现代CPU架构利用效率低下而导致的基于树的模型推理性能瓶颈。
• 探索低层级硬件感知优化如何显著提升机器学习系统中的预测速度。
• 证明简单、架构感知的实现可以在真实应用场景（如网络搜索和金融交易）中带来可测量的性能提升。
• 通过将硬件感知优化技术应用于信息检索和机器学习工作负载，弥合数据库系统研究与机器学习之间的差距。

提出的方法

• 使用缓存友好的、基于数组的布局重新组织树形数据结构在内存中的存储方式，以提升数据局部性并减少缓存未命中。
• 用预测（无分支执行）替代树遍历中的条件分支，以消除流水线停顿并提升指令级并行性。
• 应用向量化技术，利用SIMD指令并行处理多个预测，以最大化现代超长指令字处理器的吞吐量。
• 采用微批次处理技术，分摊内存访问开销，并提升多个实例间CPU执行单元的利用率。
• 使用完全平衡的树表示法并引入虚拟节点，即使原始树结构不平衡，也能实现高效的预测和向量化处理。
• 在标准排序学习数据集（如MSLR）上，使用真实世界工作负载评估性能，以测量端到端延迟的降低。

实验结果

研究问题

• RQ1 低层级、架构感知的优化是否能显著降低基于树的模型中的预测延迟？
• RQ2 与朴素的if-else实现相比，缓存友好的布局、预测和向量化技术在性能提升方面能达到何种程度？
• RQ3 这些优化在真实系统（如网络搜索引擎和高频交易平台）中的可扩展性如何？
• RQ4 为实现平衡树结构和均匀路径分布而进行的优化，其性能权衡是什么？

主要发现

• 在MSLR数据集上，VPred实现将单次预测时间从40 μs降低至25 μs，实现了38%的延迟降低。
• 在单线程网络搜索流水线中，当对200个候选结果进行重排序时，优化将查询吞吐量从每秒125个提升至200个。
• 即使在纳秒级别，性能提升依然可观，单个树预测的性能最高提升了38%。
• 在路径频率分布不均的不平衡树中，分支预测的优势会削弱预测技术的收益，表明需要结合模型感知的树结构设计。
• 作者观察到，通过在学习阶段施加正则化惩罚以强制实现平衡树结构和均匀特征空间划分，可进一步提升性能，表明模型学习与推理优化之间存在协同增效效应。