[论文解读] The Preliminary Evaluation of a Hypervisor-based Virtualization Mechanism for Intel Optane DC Persistent Memory Module

Takahiro Hirofuchi, Ryousei Takano|arXiv (Cornell University)|Jul 28, 2019

Parallel Computing and Optimization Techniques参考文献 1被引用 11

一句话总结

本文提出 RAMinate，一种基于虚拟机监控器的虚拟化机制，可在混合内存系统中动态优化 DRAM 与英特尔傲腾 DCPMM 之间的内存映射。通过将热内存页迁移到更快的 DRAM，RAMinate 有效减少了性能下降：在虚拟机中仅使用 1% DRAM 时，内核编译时间仅比 100% DRAM 基线增加 13%（557 秒），而关闭优化时则增加了 26%（624 秒）。

ABSTRACT

Non-volatile memory (NVM) technologies, being accessible in the same manner as DRAM, are considered indispensable for expanding main memory capacities. Intel Optane DCPMM is a long-awaited product that drastically increases main memory capacities. However, a substantial performance gap exists between DRAM and DCPMM. In our experiments, the read/write latencies of DCPMM were 400% and 407% higher than those of DRAM, respectively. The read/write bandwidths were 37% and 8% of those of DRAM. This performance gap in main memory presents a new challenge to researchers; we need a new system software technology supporting emerging hybrid memory architecture. In this paper, we present RAMinate, a hypervisor-based virtualization mechanism for hybrid memory systems, and a key technology to address the performance gap in main memory systems. It provides great flexibility in memory management and maximizes the performance of virtual machines (VMs) by dynamically optimizing memory mappings. Through experiments, we confirmed that even though a VM has only 1% of DRAM in its RAM, the performance degradation of the VM was drastically alleviated by memory mapping optimization. The elapsed time to finish the build of Linux Kernel in the VM was 557 seconds, which was only 13% increase from the 100% DRAM case (i.e., 495 seconds). When the optimization mechanism was disabled, the elapsed time increased to 624 seconds (i.e. 26% increase from the 100% DRAM case).

研究动机与目标

• 解决主内存系统中 DRAM 与英特尔傲腾 DCPMM 之间显著的性能差距。
• 克服虚拟化环境中虚拟机依赖混合内存时 DCPMM 访问速度慢的挑战。
• 通过动态将热页放置于更快的 DRAM，实现在虚拟机中高效灵活的内存管理。
• 证明通过智能内存映射，仅使用极少量 DRAM（1%）即可实现接近 DRAM 的性能。
• 为未来系统软件奠定基础，以最大化在使用 NVM 的混合内存架构中的性能。

提出的方法

• 在 QEMU/KVM 上实现 RAMinate 作为运行在虚拟机监控器层级的虚拟化机制，用于管理 DRAM 与 DCPMM 之间的混合内存。
• 使用性能计数器和 ipmctl 工具实时监控 DRAM 和 DCPMM 的内存访问模式。
• 基于访问频率动态识别热客户物理页，并将其重新定位到 DRAM 以降低延迟。
• 每 5 秒执行一次内存映射优化，每轮最多迁移 1,000 对页面。
• 支持 DCPMM 的内存模式和应用直接模式，重点聚焦于应用直接模式以实现完整的软件控制。
• 与 Linux 内核（4.19.16 扩展版）集成，以支持底层内存监控与控制。

实验结果

研究问题

• RQ1 基于虚拟机监控器的虚拟化机制是否能显著减少使用混合 DRAM-DCPMM 内存的虚拟机中的性能下降？
• RQ2 动态内存映射优化在最小化 DCPMM 高延迟和低带宽影响方面的有效性如何？
• RQ3 在虚拟机内存分配中仅使用 1% DRAM 时，RAMinate 能带来多大的性能提升？
• RQ4 在相同软硬件环境和工作负载下，使用 RAMinate 的虚拟机性能与未启用优化的虚拟机相比如何？
• RQ5 持续的页面迁移在计算密集型工作负载期间，对不断变化的内存访问模式的适应程度如何？

主要发现

• 与 DRAM 相比，DCPMM 的读取延迟高出 400%，写入延迟高出 407%，读取带宽仅为 DRAM 的 37%，写入带宽仅为 DRAM 的 8%。
• 在 RAMinate 启用且虚拟机 4GB 内存中仅使用 1% DRAM 的情况下，内核编译时间为 557 秒，仅比 100% DRAM 基线（495 秒）增加 13%。
• 当优化机制被禁用时，内核编译时间上升至 624 秒，比 100% DRAM 情况增加了 26%。
• 优化后，DRAM 流量降至 DCPMM 流量的 50%，表明热页向 DRAM 的迁移非常有效。
• 页面迁移活动在初期最高，约 120 秒后开始下降，表明 RAMinate 在识别并迁移热页后趋于稳定。
• 该机制持续适应工作负载变化，表现出对内存访问模式动态变化的实时响应能力。