[论文解读] Towards Memory Prefetching with Neural Networks: Challenges and Insights.

Leeor Peled, Uri Weiser+1 more|arXiv (Cornell University)|Mar 19, 2018

Parallel Computing and Optimization Techniques被引用 5

一句话总结

本文提出了一种基于神经网络的预取器，通过学习超越传统时空局部性的复杂、算法衍生的内存访问模式，以针对语义局部性。在SPEC2006和自定义内核上评估，其平均实现22%的加速（最高达90%），在手写内核上最高达5倍加速，尽管存在实现挑战，仍展现出优于现有最先进预取器的模式识别能力。

ABSTRACT

Accurate memory prefetching is paramount for processor performance, and modern processors employ various techniques to identify and prefetch different memory access patterns. While most modern prefetchers target spatio-temporal patterns by matching memory addresses that are accessed in close proximity (either in space or time), the recently proposed concept of semantic locality views locality as an artifact of the algorithmic level and searches for correlations between memory accesses and program state. While this approach was shown to be effective, capturing semantic locality requires significant associative learning capabilities. In this paper we utilize neural networks for this task. Artificial neural networks are becoming increasingly effective in tasks of pattern recognition and associative learning of complex relations. We leverage recent advances in this field to propose a conceptual neural network prefetcher. We show that by targeting semantic locality, this prefetcher can learn distinct memory access patterns that cannot be covered by other state-of-the-art prefetchers. We evaluate the neural network prefetcher over SPEC2006, Graph500, and a variety of handwritten kernels. We show that the prefetcher can deliver an average speedup of 22% for SPEC2006 (up to 90%) and up to 5x over kernels. We also explore the limitations of using neural networks for prefetching. Ultimately, we conclude that although there are still many challenges to overcome before we can reach a feasible, power-efficient implementation, the neural network prefetcher potential gains over state-of-the-art prefetchers justify further exploration

研究动机与目标

• 解决依赖时空局部性的传统预取器的局限性，这些预取器无法捕捉算法级别的内存访问模式。
• 探究神经网络是否能够通过学习内存访问与程序状态之间的复杂关联，有效建模语义局部性。
• 开发一种概念性神经网络预取器，能够识别现有最先进技术无法检测到的内存访问模式。
• 在多样化工作负载（包括SPEC2006、Graph500和手写内核）上评估神经预取器的性能与可扩展性。
• 识别并分析在功耗效率和实际处理器环境中部署神经网络预取器的主要挑战。

提出的方法

• 利用人工神经网络通过学习内存访问序列与程序状态变量之间的关联，来建模语义局部性。
• 设计一种神经网络架构，基于历史内存访问轨迹和相应的程序状态信息进行训练，以预测未来的内存访问。
• 采用端到端训练优化网络，以最小化预取错误并最大化指令级并行性增益。
• 将神经预取器集成到仿真框架中，以在SPEC2006、Graph500和自定义手写内核上评估性能。
• 应用反向传播和基于梯度的优化方法，以提升网络在多样化访问模式上的泛化能力。
• 评估模型检测非线性、具有算法意义的访问模式的能力，这些模式是传统预取器所忽略的。

实验结果

研究问题

• RQ1 神经网络能否有效学习并利用超越时空相关性的内存访问模式中的语义局部性？
• RQ2 在标准和自定义工作负载上，神经网络预取器与现有最先进预取器相比性能如何？
• RQ3 通过神经学习针对算法级别的内存访问模式，可实现的关键性能提升是什么？
• RQ4 在功耗效率和实际处理器环境中实现神经网络预取器的主要挑战是什么？
• RQ5 神经网络在多样化内存访问模式（包括不规则或手写内核中的模式）上的泛化能力如何？

主要发现

• 该神经网络预取器在SPEC2006基准测试套件上实现了平均22%的加速，部分工作负载最高提升90%。
• 在手写内核上，预取器实现了最高5倍的加速，表明其在不规则且算法复杂的访问模式下具有极强的有效性。
• 该神经预取器成功识别出现有最先进时空预取器无法检测到的内存访问模式。
• 尽管性能提升显著，该方法在功耗效率和实际部署方面仍面临挑战，表明仍需进一步优化。
• 结果验证了神经网络在复杂内存访问关联中具备关联学习能力，使其成为未来预取研究的有前景方向。
• 本研究结论认为，尽管当前可行性存在局限，神经预取的性能优势仍值得持续探索。