[论文解读] The DIR Net: A Distributed System for Detection, Isolation, and Recovery

Vincenzo De Florio|arXiv (Cornell University)|Apr 27, 2015

Distributed systems and fault tolerance参考文献 4被引用 3

一句话总结

DIR Net 是一种容错分布式系统，专为在分布式环境中实现故障检测、隔离与恢复而设计，采用双组件架构，包括 DIR 管理器和 DIR 备份代理。它使用用户定义的恢复策略，这些策略被编译为 'R-code'，并通过恢复解释器执行，实现动态、可自定义的故障恢复，并内置超时和心跳机制以增强系统韧性。

ABSTRACT

This document describes the DIR net, a distributed environment which is part of the EFTOS fault tolerance framework. The DIR net is a system consisting of two components, called DIR Manager (or, shortly, the manager) and DIR Backup Agent (shortly, the backup). One manager and a set of backups is located in the system to be `guarded', one component per node. At this point the DIR net weaves a web which substantially does two things: 1) makes itself tolerant to a number of possible faults, and 2) gathers information pertaining the run of the user application. As soon as an error occurs within the DIR net, the system executes built-in recovery actions that allow itself to continue processing despite a number of hardware/software faults, possibly doing a graceful degradation of its features; when an error occurs in the user application, the DIR net, by means of custom- and user-defined detection tools, is informed of such events and runs one or more recovery strategies, both built-in and coded by the user using an ancillary compile-time tool, the rl translator. Such tools translates the user-defined strategies into a binary `R-code', i.e., a pseudo-code interpreted by a special component of the DIR net, the Recovery Interpreter, rint (in a sense, rint is a r-code virtual machine.) This document describes the generic component of the DIR net, a function which can behave either as manager or as backup.

研究动机与目标

• 设计一种能够实时检测、隔离并从硬件和软件故障中恢复的分布式系统。
• 提供一个灵活且可扩展的框架，用于将用户定义的恢复策略集成到容错环境中。
• 通过轻量级、分布式的组件（管理器和备份代理）及其内置的监控与恢复机制，确保系统韧性。
• 通过基于心跳和超时的故障检测机制，实现优雅降级和持续运行，即使在组件故障的情况下也能保持系统运行。
• 通过类似虚拟机的解释器（rint）执行用户定义的 R-code 策略，实现动态恢复。

提出的方法

• 系统采用双组件架构：一个 DIR 管理器和多个运行在不同节点上的 DIR 备份代理。
• 通过周期性发送的 'I'm Alive'（IAT）消息和超时机制实现故障检测，支持可配置的间隔和循环行为。
• 用户定义的恢复策略使用高级语言编写，并通过领域专用编译器 rl 译成 'R-code'。
• R-code 由恢复解释器（rint）解释执行，该组件类似虚拟机，在检测到故障时执行恢复操作。
• 内部通信通过邮箱和别名标识符管理，专用消息类型用于处理超时、报警和状态转换。
• 系统利用超时管理器（TOM）来调度和管理报警，支持循环和基于截止时间的超时行为。

实验结果

研究问题

• RQ1 如何通过自动化故障检测与恢复实现分布式系统的自我修复？
• RQ2 在分布式环境中，如何最有效地将故障检测逻辑与恢复逻辑解耦？
• RQ3 如何安全高效地将用户定义的恢复策略集成到容错运行时系统中？
• RQ4 心跳机制和超时策略在确保分布式系统活性和故障检测方面发挥什么作用？
• RQ5 如何设计一种轻量级、可扩展的恢复框架，以同时支持内置和应用特定的恢复操作？

主要发现

• DIR Net 通过利用分布式监控与恢复机制，成功实现在硬件和软件故障情况下的持续运行。
• 使用领域专用的 R-code 语言和专用解释器（rint），实现了无需修改底层系统即可灵活扩展的恢复策略。
• 系统通过心跳消息（IAT）、超时管理以及基于状态的恢复操作，实现了故障容错。
• 该架构通过允许系统在故障检测后以降级功能继续运行，支持优雅降级。
• 模块化设计使管理器和备份代理角色分明，确保了故障隔离，并支持在多个节点上的可扩展性。
• 系统韧性通过可配置的超时策略（如 IA-flag-timeout、MIA-timeout）得到验证，支持循环和基于截止时间的故障检测。