[论文解读] Reducing overheads of dynamic scheduling on heterogeneous chips

Francisco Corbera, Andrés Rodríguez+4 more|arXiv (Cornell University)|Jan 14, 2015

Parallel Computing and Optimization Techniques参考文献 14被引用 4

一句话总结

本文提出动态调度优化以减少集成CPU与GPU的异构芯片在处理不规则工作负载（如Barnes Hut）时的开销。通过优先处理主机线程并利用操作系统的特定调度行为，该方法在Intel Haswell平台上将能效延迟积（EDP）降低84%，在Samsung Exynos big.LITTLE平台上降低57%，显著提升了动态卸载场景下的性能与能效。

ABSTRACT

In recent processor development, we have witnessed the integration of GPU and CPUs into a single chip. The result of this integration is a reduction of the data communication overheads. This enables an efficient collaboration of both devices in the execution of parallel workloads. In this work, we focus on the problem of efficiently scheduling chunks of iterations of parallel loops among the computing devices on the chip (the GPU and the CPU cores) in the context of irregular applications. In particular, we analyze the sources of overhead that the host thread experiments when a chunk of iterations is offloaded to the GPU while other threads are executing concurrently other chunks on the CPU cores. We carefully study these overheads on different processor architectures and operating systems using Barnes Hut as a study case representative of irregular applications. We also propose a set of optimizations to mitigate the overheads that arise in presence of oversubscription and take advantage of the different features of the heterogeneous architectures. Thanks to these optimizations we reduce Energy-Delay Product (EDP) by 18% and 84% on Intel Ivy Bridge and Haswell architectures, respectively, and by 57% on the Exynos big.LITTLE.

研究动机与目标

• 解决在集成GPU的异构芯片上，对不规则应用进行动态调度时导致的性能下降问题。
• 识别并缓解在将迭代块卸载至GPU时的主要开销来源——尤其是主机线程重新调度开销。
• 在资源超载环境中，改善CPU核心与GPU之间的负载均衡和资源利用率。
• 在不同架构（Intel Ivy Bridge、Haswell、Exynos big.LITTLE）和操作系统（Windows、Linux）上评估调度优化的影响。
• 通过有针对性的线程调度与优先级调整，在维持或改善执行时间的同时最小化能效延迟积（EDP）

提出的方法

• 使用Intel VTune分析Haswell平台上的GPU硬件指标（EU活动、空闲、阻塞周期、L3缓存未命中）及不同GPU块大小下的有效吞吐量。
• 测量并隔离集成GPU平台在动态调度中来自内核启动、数据传输和主机线程分发的开销。
• 通过主机线程优先级提升来减少开销，特别是在资源超载配置下的Windows系统中。
• 探索在Exynos big.LITTLE平台上将线程绑定至低功耗A7核心，以降低能耗同时保持性能。
• 评估在多种配置和工作负载下，优先级提升与核心绑定的联合效应在EDP降低方面的表现。
• 采用Barnes Hut基准测试作为不规则应用的代表性实例，评估不同硬件与操作系统平台上的性能与能效权衡。

实验结果

研究问题

• RQ1 在集成GPU的异构芯片上，不规则应用动态调度的主要开销来源是什么？
• RQ2 操作系统（Windows与Linux）如何影响在资源超载场景下主机线程重新调度开销的影响？
• RQ3 在Windows系统下，提升Intel平台主机线程优先级在多大程度上可减少执行时间和能耗？
• RQ4 在Exynos big.LITTLE架构上，将主机线程绑定至低功耗A7核心能带来哪些能效与性能收益？
• RQ5 在Barnes Hut等不规则工作负载中，GPU卸载块的大小如何影响GPU性能与整体EDP？

主要发现

• 在Intel Haswell平台（Windows）上，提升主机线程优先级可使能效延迟积（EDP）相比基线动态调度降低84%。
• 在Intel Ivy Bridge平台（Windows）上，主机线程优先级提升使EDP降低18%，表明在资源超载环境中具有显著收益。
• 在Exynos 5 big.LITTLE平台（Linux）上，将主机线程绑定至A7核心可使EDP相比标准动态调度降低46%。
• 在Exynos平台上结合主机线程优先级提升与A7核心绑定，EDP额外降低7.8%，实现总计57%的EDP降低。
• Exynos平台上的Linux调度器能有效管理资源超载，无需优先级调整，因此线程绑定成为主要优化手段。
• 在非资源超载配置下（如3+1），提升主机线程优先级带来的收益微乎其微，表明当资源未充分利用时，开销并非关键瓶颈。