[论文解读] User-Level Socket-Based Checkpointing for Distributed and Parallel Computation

Jason Ansel, Michael Rieker+1 more|arXiv (Cornell University)|Jan 6, 2007

Distributed systems and fault tolerance参考文献 23被引用 3

一句话总结

DMTCP 是一个基于套接字的用户级检查点系统，适用于 Linux，可对分布式和并行应用程序（包括动态创建的线程、派生的进程以及远程启动的进程）进行检查点操作，而无需修改内核或应用程序代码。它通过复制检查点文件实现在同构主机之间的进程迁移，为高性能计算环境中的容错提供了轻量级、可移植的解决方案。

ABSTRACT

We present a preliminary description of a user-level checkpointing package, DMTCP, for Linux. The socket-based approach presents a novel method for checkpointing distributed processes. This includes checkpointing of any dynamically created POSIX threads and forked child processes. It also includes checkpointing of remotely spawned processes via ssh and other mechanisms. As with all user-level checkpointing, no modification of the kernel is needed, and the application code is not modified. The package also checkpoints signal handlers, ordinary file descriptors, socket descriptors, and certain other types of file descriptors. Each checkpointed process has an associated checkpoint file. Hence, process migration, and even migration of an entire computation to a new cluster, are achieved through the simple expedient of copying checkpoint files to a new host. However, process migration adds the additional restriction that the source and destination host must be homogeneous. 1

研究动机与目标

• 为 Linux 上的分布式和并行应用程序提供透明的、用户级的检查点解决方案。
• 在不修改应用程序代码的情况下，支持对动态创建的 POSIX 线程和派生的子进程进行检查点操作。
• 通过 SSH 及类似机制支持远程进程的检查点操作。
• 通过检查点文件传输实现在同构主机之间的进程迁移。
• 在检查点过程中确保关键描述符（如套接字、文件描述符和信号处理程序）的一致性。

提出的方法

• 系统使用基于套接字的通信机制，协调分布式进程之间的检查点操作。
• 它完全在用户空间运行，无需内核修改或应用程序源代码更改。
• 为每个进程创建检查点文件，存储所有相关状态，包括线程上下文、文件描述符和套接字状态。
• 通过安全外壳（ssh）或类似远程执行机制对远程进程进行检查点操作。
• 在检查点过程中保留信号处理程序和各种类型的文件描述符。
• 通过将检查点文件复制到新主机并在其上重启进程，实现进程迁移。

实验结果

研究问题

• RQ1 如何有效将用户级检查点扩展到具有动态进程创建的分布式和并行应用程序？
• RQ2 哪些机制能够实现通过 SSH 或类似工具启动的远程进程的可靠检查点操作？
• RQ3 如何一致地捕获和恢复关键运行时状态（如套接字和文件描述符）？
• RQ4 哪些限制因素会限制在异构或异构计算环境中的进程迁移？
• RQ5 在生产级 HPC 工作负载中，用户级检查点操作的性能和可靠性开销如何？

主要发现

• DMTCP 无需内核或应用程序代码修改，即可成功实现对分布式应用程序的检查点操作。
• 该系统支持在同一应用程序上下文中对动态创建的 POSIX 线程和派生的子进程进行检查点操作。
• 通过标准远程执行工具（如 SSH）可对远程进程进行检查点操作，从而将检查点功能扩展到集群级计算。
• 通过传输检查点文件，实现在同构主机之间的进程迁移，支持容错和负载均衡。
• 该方法保留了关键运行时状态，包括套接字描述符、文件描述符和信号处理程序，确保状态正确恢复。
• 通过透明的用户级操作，该解决方案在高性能计算环境中展示了容错的实际可行性。