[论文解读] Towards Efficient OpenMP Strategies for Non-Uniform Architectures

Oussama Tahan|arXiv (Cornell University)|Nov 26, 2014

Parallel Computing and Optimization Techniques参考文献 8被引用 3

一句话总结

本文提出了一种基于NANOS运行时的NUMA感知OpenMP策略，通过智能线程分配和高级任务调度，最小化远程内存访问。在BOTS基准测试中，该方法显著提升了性能——尤其在数据密集型应用中，通过减少现代多插槽系统中非统一内存访问的延迟，实现了性能优化。

ABSTRACT

Parallel processing is considered as todays and future trend for improving performance of computers. Computing devices ranging from small embedded systems to big clusters of computers rely on parallelizing applications to reduce execution time. Many of current computing systems rely on Non-Uniform Memory Access (NUMA) based processors architectures. In these architectures, analyzing and considering the non-uniformity is of high importance for improving scalability of systems. In this paper, we analyze and develop a NUMA based approach for the OpenMP parallel programming model. Our technique applies a smart threads allocation method and an advanced tasks scheduling strategy for reducing remote memory accesses and consequently their extra time consumption. We implemented our approach within the NANOS runtime system. A set of tests was conducted using the BOTS benchmarks and results showed the capacity of our technique in improving the performance of OpenMP applications especially those dealing with a large amount of data.

研究动机与目标

• 解决在非统一内存访问（NUMA）架构上运行的OpenMP应用程序中的性能瓶颈。
• 提升可扩展性，减少多插槽系统中因远程内存访问导致的延迟。
• 开发一种运行时策略，根据NUMA拓扑智能地映射线程并调度任务。
• 在真实世界的数据密集型工作负载上评估所提方法的有效性。
• 提升内存访问延迟在不同节点间差异显著的系统中OpenMP的性能。

提出的方法

• 该方法集成了一种智能线程分配机制，根据线程与本地内存的接近程度，将OpenMP线程分配至相应核心。
• 采用一种先进的任务调度策略，通过将任务放置在包含所需数据的节点上，优先保障数据局部性。
• 该技术在NANOS运行时系统中实现，该系统在运行时管理线程与任务的放置。
• 系统动态监控内存访问模式，并调整线程与任务分布，以最小化远程内存引用。
• 该方法利用NUMA拓扑感知能力，指导线程放置与任务调度决策。
• 该方法通过BOTS基准测试套件进行评估，该套件包含内存密集型并行应用程序。

实验结果

研究问题

• RQ1 如何优化OpenMP应用程序以适应NUMA架构，从而减少远程内存访问开销？
• RQ2 在具有非统一内存访问的多插槽系统中，何种线程分配策略可最小化延迟？
• RQ3 智能任务调度在数据密集型OpenMP工作负载中如何提升性能？
• RQ4 NANOS类运行时系统在NUMA平台上能在多大程度上提升可扩展性？
• RQ5 通过拓扑感知的线程与任务管理，在OpenMP中可实现多大的性能提升？

主要发现

• 所提出的NUMA感知策略通过将线程与任务智能地放置在数据附近，显著减少了远程内存访问。
• 性能提升在数据密集型应用中尤为显著，BOTS基准测试套件已证实这一点。
• 该方法通过最小化多插槽系统中节点间的内存访问延迟，实现了可测量的加速比。
• NANOS运行时成功实现了动态负载均衡，同时在NUMA节点间保持了数据局部性。
• 结果证实，拓扑感知调度对于在NUMA架构上实现OpenMP的高可扩展性至关重要。
• 在涉及大规模数据集和高内存带宽需求的场景中，该技术优于默认的OpenMP调度策略。