[论文解读] Renewing computing paradigms for more efficient parallelization of single-threads

János Végh|arXiv (Cornell University)|Feb 22, 2018

Parallel Computing and Optimization Techniques参考文献 24被引用 3

一句话总结

本文提出对计算范式的根本性重构，以克服单线程性能停滞的问题，通过重新思考冯·诺依曼架构。它引入了一种扩展的计算模型，通过架构和软件栈的创新，实现了更高的吞吐量、更简化的硬件和更优的实时行为，为单线程工作负载的并行化提供了更高效的路径，而无需依赖传统的多核扩展。

ABSTRACT

Computing is still based on the 70-years old paradigms introduced by von Neumann. The need for more performant, comfortable and safe computing forced to develop and utilize several tricks both in hardware and software. Till now technology enabled to increase performance without changing the basic computing paradigms. The recent stalling of single-threaded computing performance, however, requires to redesign computing to be able to provide the expected performance. To do so, the computing paradigms themselves must be scrutinized. The limitations caused by the too restrictive interpretation of the computing paradigms are demonstrated, an extended computing paradigm introduced, ideas about changing elements of the computing stack suggested, some implementation details of both hardware and software discussed. The resulting new computing stack offers considerably higher computing throughput, simplified hardware architecture, drastically improved real-time behavior and in general, simplified and more efficient computing stack.

研究动机与目标

• 解决尽管历经数十年硬件进步，单线程性能仍停滞不前的问题。
• 识别由对传统冯·诺依曼计算范式僵化解读所施加的限制。
• 提出一种重新定义的计算模型，以实现单线程工作负载更高效的并行化。
• 重新设计计算栈的硬件与软件组件，以提升吞吐量和实时响应能力。
• 证明范式转变可带来更简化、更高效且更高性能的计算系统。

提出的方法

• 引入一种扩展的计算范式，将指令执行与严格的顺序控制流解耦。
• 重新定义处理器的角色，使其在单线程执行模型内处理多个独立的计算流。
• 提出一种硬件抽象，支持计算单元的细粒度、推测性执行，而无需传统线程管理。
• 设计一种软件栈，通过显式的轻量级计算抽象，在应用层面暴露并行性。
• 利用计算单元之间的消息传递模型，实现数据流驱动的执行，减少同步开销。
• 实现一种简化的内存模型，降低缓存一致性复杂度并提升数据局部性。

实验结果

研究问题

• RQ1 如何在不依赖提高时钟频率或核心数量的前提下，有效恢复单线程性能？
• RQ2 为实现单线程工作负载的高效并行化，需要哪些架构和软件层面的改变？
• RQ3 通过重新定义计算范式，能在多大程度上降低硬件复杂度，同时提升吞吐量和实时行为？
• RQ4 如何放松传统冯·诺依曼约束，以支持更灵活和可扩展的执行模型？
• RQ5 从基于线程的执行转向基于数据流的执行，对系统性能和可靠性有何影响？

主要发现

• 所提出的范式相比传统单线程执行，显著提升了计算吞吐量。
• 由于消除了复杂的缓存一致性与线程调度机制，硬件复杂度大幅降低。
• 由于计算单元的执行具有可预测性且延迟低，实时行为得到显著改善。
• 新栈通过减少对共享状态和同步原语的依赖，简化了软件开发与系统验证。
• 该模型支持对单线程代码进行高效、细粒度的并行化，而无需应用层线程支持。
• 通过实现细节证明了该方法的可行性，展示了性能提升和资源开销降低。