[论文解读] Practical Data Compression for Modern Memory Hierarchies

Gennady Pekhimenko|arXiv (Cornell University)|Sep 7, 2016

Parallel Computing and Optimization Techniques参考文献 149被引用 3

一句话总结

本文提出了一种面向现代内存层次结构的实用硬件辅助数据压缩框架，引入了用于低延迟缓存压缩的BΔI压缩技术、用于改进缓存替换策略的基于大小的插入策略（SIP），以及用于主内存的线性压缩页（LCP）。通过以极低的硬件和操作系统开销，在片上缓存、主内存和互连中集成压缩技术，该框架显著提升了性能和能效。

ABSTRACT

In this thesis, we describe a new, practical approach to integrating hardware-based data compression within the memory hierarchy, including on-chip caches, main memory, and both on-chip and off-chip interconnects. This new approach is fast, simple, and effective in saving storage space. A key insight in our approach is that access time (including decompression latency) is critical in modern memory hierarchies. By combining inexpensive hardware support with modest OS support, our holistic approach to compression achieves substantial improvements in performance and energy efficiency across the memory hierarchy. Using this new approach, we make several major contributions in this thesis. First, we propose a new compression algorithm, Base-Delta-Immediate Compression (BDI), that achieves high compression ratio with very low compression/decompression latency. BDI exploits the existing low dynamic range of values present in many cache lines to compress them to smaller sizes using Base+Delta encoding. Second, we observe that the compressed size of a cache block can be indicative of its reuse. We use this observation to develop a new cache insertion policy for compressed caches, the Size-based Insertion Policy (SIP), which uses the size of a compressed block as one of the metrics to predict its potential future reuse. Third, we propose a new main memory compression framework, Linearly Compressed Pages (LCP), that significantly reduces the complexity and power cost of supporting main memory compression. We demonstrate that any compression algorithm can be adapted to fit the requirements of LCP, and that LCP can be efficiently integrated with the existing cache compression designs, avoiding extra compression/decompression.

研究动机与目标

• 通过在内存层次结构中集成硬件数据压缩，解决内存容量和带宽日益增长的瓶颈问题。
• 克服传统软件压缩技术带来的高延迟问题，后者不适用于实时内存访问。
• 开发低延迟、高压缩率的技术，使其与现有CPU和GPU内存系统兼容。
• 在不牺牲性能或增加复杂度的前提下，实现在主内存和片上缓存中的高效、可扩展压缩。
• 将该方法扩展至新兴的非易失性内存技术及数据密集型工作负载（如机器学习和生物信息学）。

提出的方法

• 提出基值-差值-立即数（Base-Delta-Immediate, BΔI）压缩技术，利用缓存行中较低的动态范围，通过基值+差值编码实现高压缩率，同时保持极低延迟。
• 引入基于大小的插入策略（Size-based Insertion Policy, SIP），利用压缩块大小作为启发式方法预测未来重用行为，指导缓存插入决策。
• 设计线性压缩页（Linearly Compressed Pages, LCP），一种主内存压缩框架，通过支持高效、硬件管理的压缩机制，显著降低复杂度和功耗，同时保持极低开销。
• 将LCP与现有缓存压缩设计集成，避免冗余的压缩/解压缩操作，确保端到端效率。
• 针对GPU工作负载适配压缩框架，识别新挑战并提出适用于GPU内存层次结构的解决方案。
• 通过支持更长访问延迟下的激进压缩，实现对新兴内存技术（如PCM、STT-MRAM）和近似计算工作负载的可扩展性。

实验结果

研究问题

• RQ1 如何使硬件数据压缩在具有严格延迟约束的现代内存层次结构中具备实用性？
• RQ2 压缩块大小能否作为压缩缓存中未来重用行为的可靠预测指标？
• RQ3 如何在保持极低硬件复杂度和性能影响的前提下实现主内存压缩？
• RQ4 在GPU内存系统中应用硬件压缩面临哪些关键挑战，如何解决？
• RQ5 压缩技术在多大程度上可扩展至新兴的非易失性内存技术和近似计算工作负载？

主要发现

• BΔI压缩在实现极高压缩率的同时，保持了极低的压缩/解压缩延迟，适用于片上缓存。
• 基于大小的插入策略（SIP）通过将压缩块大小用作重用预测因子，显著提升了缓存性能，优于传统替换策略。
• 线性压缩页（LCP）在降低主内存压缩的复杂度和功耗成本的同时，实现了与现有缓存压缩机制的高效集成。
• 所提出的框架在内存层次结构的各个层级均显著提升了有效内存容量、带宽和能效。
• 该方法可扩展至非易失性内存技术，在允许更长访问延迟的场景下，支持更激进的压缩策略，从而获得更大的容量增益。
• 初步结果表明，通过在编译时或运行时重新组织内存布局以聚合相似类型的数据，可显著提升混合类型数据结构的可压缩性。