[论文解读] Pangloss: a novel Markov chain prefetcher

Philippos Papaphilippou, Paul H. J. Kelly+1 more|arXiv (Cornell University)|Jun 3, 2019

Parallel Computing and Optimization Techniques参考文献 8被引用 5

一句话总结

Pangloss 是一种硬件高效的基于马尔可夫链的预取器，通过使用每页跟踪的集合关联缓存来建模内存地址之间的增量转换，从而在复杂访问模式下提高准确性。在多级预取中，其相对于 KPCP 和 BOP 的几何加速比分别达到 6.8% 和 8.4%，相对于无预取的加速比为 40.4%，同时保持在 64 KB 的空间预算内。

ABSTRACT

We present Pangloss, an efficient high-performance data prefetcher that approximates a Markov chain on delta transitions. With a limited information scope and space/logic complexity, it is able to reconstruct a variety of both simple and complex access patterns. This is achieved by a highly-efficient representation of the Markov chain to provide accurate values for transition probabilities. In addition, we have added a mechanism to reconstruct delta transitions originally obfuscated by the out-of-order execution or page transitions, such as when streaming data from multiple sources. Our single-level (L2) prefetcher achieves a geometric speedup of 1.7% and 3.2% over selected state-of-the-art baselines (KPCP and BOP). When combined with an equivalent for the L1 cache (L1 & L2), the speedups rise to 6.8% and 8.4%, and 40.4% over non-prefetch. In the multi-core evaluation, there seems to be a considerable performance improvement as well.

研究动机与目标

• 为解决由于页边界和乱序执行导致的马尔可夫链建模不准确问题，特别是在增量转换被遮蔽的情况下。
• 设计一种硬件友好、空间高效的马尔可夫链表示方法，以在复杂访问模式下保持准确的转移概率度量。
• 通过每页跟踪增量转换并结合紧凑的关联结构实现全局决策，从而提升预取准确性和性能。
• 在真实的空间和逻辑复杂度约束下，对单核和多核工作负载中的预取器进行评估。

提出的方法

• 系统使用基于当前增量索引的集合关联增量缓存，存储最频繁的下一增量及其相关概率。
• 维护一个独立的页缓存以跟踪页标识符并解析页间转换，从而实现每页增量跟踪，避免跨页的无效转换。
• 遍历启发式策略仅选择概率大于 1/3 的转换，将每状态的候选预取数量限制在两个，以实现低延迟决策。
• 马尔可夫模型通过基于频率的邻接矩阵构建增量转换，利用关联结构优化稀疏性，以减少面积和复杂度。
• 设计中 L1 使用 10 位增量大小（512 个偏移量），L2 使用 7 位（64 个偏移量），采用 16 路关联和 7 位 LFU 计数器以跟踪访问频率。
• 预取器在 ChampSim 中使用 46 个基准测试 trace 进行评估，对比单级（L2）和多级（L1 & L2）配置下 KPCP 和 BOP 的表现。

实验结果

研究问题

• RQ1 紧凑且硬件友好的马尔可夫链表示是否能在复杂内存访问模式下超越现有最先进预取器？
• RQ2 当页边界和乱序执行扭曲全局增量流时，每页增量跟踪在重建有效转移概率方面的有效性如何？
• RQ3 使用相同基于马尔可夫的机制组合 L1 和 L2 预取所能带来的性能增益是多少？其在多核工作负载中是否具有可扩展性？
• RQ4 与传统的步长或距离预取相比，所提模型在减少误报和提升准确性方面能达到何种程度？

主要发现

• 在单核评估中，多级 Pangloss（L1 & L2）相对于 KPCP 实现 6.8% 的几何加速比，相对于 BOP 实现 8.4% 的几何加速比。
• 相对于无预取的场景，几何加速比达到 40.4%，显著优于基线预取器。
• 单级 L2 版本相对于 KPCP 和 BOP 分别实现 1.7% 和 3.2% 的加速比，相对于无预取的加速比为 33.5%。
• 单核模式下的总面积消耗为 59.4 KB，远低于 64 KB 的竞赛预算，并在多核环境下可高效扩展（乘以 4）。
• 通过低关联度和基于概率的遍历启发式策略，设计保持了较低的逻辑复杂度，从而支持高效的硬件部署。
• 多程序评估显示性能收益稳定，多级预取器在多样化程序组合中均优于 KPCP。