[论文解读] Parallel calculation of the median and order statistics on GPUs with application to robust regression

Gleb Beliakov|arXiv (Cornell University)|Apr 14, 2011

Advanced Statistical Methods and Models参考文献 20被引用 12

一句话总结

该论文提出了一种新颖的GPU加速方法，通过使用割平面算法最小化凸代价函数来计算中位数和顺序统计量，相较于GPU基数排序实现了3–6倍的加速。该方法利用并行归约，可在多个GPU上高度可扩展。

ABSTRACT

We present and compare various approaches to a classical selection problem on Graphics Processing Units (GPUs). The selection problem consists in selecting the $k$-th smallest element from an array of size $n$, called $k$-th order statistic. We focus on calculating the median of a sample, the $n/2$-th order statistic. We introduce a new method based on minimization of a convex function, and show its numerical superiority when calculating the order statistics of very large arrays on GPUs. We outline an application of this approach to efficient estimation of model parameters in high breakdown robust regression.

研究动机与目标

• 解决在GPU上处理大规模数据时计算中位数和顺序统计量的性能瓶颈。
• 克服针对SIMT和基于warp执行的GPU架构缺乏高效并行选择算法的不足。
• 为大规模数据集开发一种可扩展的、高性能的替代排序的中位数计算方法。
• 在高 breakdown 鲁棒回归和k近邻方法中实现中位数的高效计算。

提出的方法

• 提出一种新方法，通过最小化一个凸的、分段线性的代价函数，其最小值对应于中位数。
• 使用割平面算法迭代地细化包含中位数的区间，利用凸性实现快速收敛。
• 通过Thrust中的并行归约实现代价函数的评估，以支持高效的GPU执行。
• 将割平面方法与在缩减后的候选集上进行的最终小规模排序相结合，以实现鲁棒的中位数估计。
• 设计算法以最小化分支和内存传输，与GPU执行模型保持一致。
• 通过最小化CPU与GPU之间的数据移动，确保在多个GPU设备上的可扩展性。

实验结果

研究问题

• RQ1 基于凸优化的方法是否能在GPU上超越基于排序的中位数计算方法？
• RQ2 在GPU上，割平面算法与其它优化技术（如二分法、Brent方法）相比，在收敛速度和稳定性方面表现如何？
• RQ3 所提出的方法在大规模中位数计算中相较于GPU基数排序的性能提升有多大？
• RQ4 该方法在多个GPU设备上的可扩展性如何？
• RQ5 该方法在鲁棒回归和k近邻等实际应用中如何提升效率？

主要发现

• 所提出的基于凸优化与割平面最小化的中位数计算方法，相较于GPU基数排序实现了3–6倍的加速。
• 与二分法和Brent方法相比，割平面算法在数值上更加稳定且高效，尤其在存在极端值时表现更优。
• 该方法通过避免探索无信息量的区间，减少了收敛所需的迭代次数。
• 该算法具有高度可扩展性，即使在多个设备间也仅需极少的CPU与GPU间数据传输。
• 该方法可轻松通过Thrust库实现，利用标准GPU归约原语。
• 该方法通过用顺序统计量计算替代部分排序，实现了在鲁棒回归（LTS）和k近邻方法中中位数的高效计算。