[论文解读] Parallelizing Bisection Root-Finding: A Case for Accelerating Serial Algorithms in Multicore Substrates

Mohammad Bakhshalipour, Hamid Sarbazi‐Azad|arXiv (Cornell University)|May 11, 2018

Parallel Computing and Optimization Techniques参考文献 43被引用 3

一句话总结

本文提出运行提前计算（Runahead Computing），一种纯软件技术，通过在多核和GPU架构中利用空闲线程，对主控线程进行推测性预执行，从而加速固有串行算法（如二分法求根）的执行。该方法通过推测性预计算减少执行延迟，在输入函数计算时间超过线程创建开销时，可在CPU和GPU平台上实现高达9倍的加速。

ABSTRACT

Multicore architectures dominate today's processor market. Even though the number of cores and threads are pretty high and continues to grow, inherently serial algorithms do not benefit from the abundance of cores and threads. In this paper, we propose Runahead Computing, a technique which uses idle threads in a multi-threaded architecture for accelerating the execution time of serial algorithms. Through detailed evaluations targeting both CPU and GPU platforms and a specific serial algorithm, our approach reduces the execution latency up to 9x in our experiments.

研究动机与目标

• 解决多核和众核系统中固有串行算法的性能瓶颈问题，尽管存在大量空闲线程，但仅使用一个核心。
• 探索无需硬件修改即可利用空闲线程加速单线程工作负载的软件技术。
• 以二分法求根为案例研究，评估运行提前计算在CPU和GPU平台上的有效性。
• 分析不同架构中，加速效果对输入函数延迟和线程创建开销的敏感性。

提出的方法

• 运行提前计算利用空闲线程推测性地提前执行代码，旨在当主控线程到达相同计算点时，减少其执行时间。
• 该技术涉及创建多个线程并行计算值，主控线程随后使用预计算结果跳过冗余计算。
• 对于二分法求根，该方法将搜索区间分割，并利用空闲线程预先计算中间点的函数值。
• 该方法依赖于软件级别的线程创建与同步，无需硬件修改，因此可部署于商用现成处理器。
• 通过测量不同线程数量和输入函数延迟下的执行时间减少量来评估性能。
• 该方法应用于CPU（CMP）和GPU平台，不同线程创建与同步开销影响其可扩展性。

实验结果

研究问题

• RQ1 在多核和众核系统中，是否可以有效利用空闲线程，在不修改硬件的前提下加速固有串行算法？
• RQ2 运行提前计算在CPU和GPU平台上，随着线程数量增加，性能如何扩展？
• RQ3 输入函数计算延迟对运行提前计算有效性有何影响？
• RQ4 线程创建与同步开销如何影响加速效果，尤其是在CPU与GPU环境之间？

主要发现

• 在GPU平台上，使用1023个线程时，运行提前计算在执行时间减少方面实现了高达9倍的加速，由于线程创建开销极低，实现了近乎完美的可扩展性。
• 在CPU上，使用七个线程时，该方法将执行延迟降低至基线的38%，尽管线程管理开销较高，仍表现出强大的可扩展性。
• 当输入函数计算延迟较低时（例如，泰勒级数10次迭代），由于线程创建开销，运行提前计算在CPU上性能最差下降达86%；但当延迟超过10,000次迭代时，性能反而提升97%。
• 在GPU上，即使函数延迟极低（10次迭代），运行提前计算仍实现了19%的性能提升，当迭代次数超过500次时，达到理想加速的99%，这得益于极低的同步成本。
• 该方法表明，CPU上的性能扩展受限于线程创建与同步开销，而GPU的细粒度多线程机制使其能够实现近乎理想的可扩展性。
• 结果证实，当输入函数的计算成本超过线程管理成本时，运行提前计算最为有效，因此适用于计算密集型串行工作负载。