[论文解读] 'Mutual Watch-dog Networking': Distributed Awareness of Faults and Critical Events in Petascale/Exascale systems

Roberto Ammendola, A. Biagioni+8 more|arXiv (Cornell University)|Jul 1, 2013

Distributed systems and fault tolerance参考文献 6被引用 3

一句话总结

本文提出了一种名为 'Mutual Watch-dog Networking'（LO|FA|MO）的分布式故障感知框架，适用于千兆规模和百京规模的系统，通过冗余的低速诊断网络实现实时故障检测与传播。通过结合硬件监控、看门狗机制和分层故障告警，该系统实现了早期故障检测与弹性响应，显著降低了大规模、高复杂度架构中的系统停机时间。

ABSTRACT

Many tile systems require techniques to be applied to increase components resilience and control the FIT (Failures In Time) rate. When scaling to peta- exa-scale systems the FIT rate may become unacceptable due to component numerosity, requiring more systemic countermeasures. Thus, the ability to be fault aware, i.e. to detect and collect information about fault and critical events, is a necessary feature that large scale distributed architectures must provide in order to apply systemic fault tolerance techniques. In this context, the LO|FA|MO approach is a way to obtain systemic fault awareness, by implementing a mutual watchdog mechanism and guaranteeing fault detection in a no-single-point-of-failure fashion. This document contains specification and implementation details about this approach, in the shape of a technical report.

研究动机与目标

• 为应对由于组件数量庞大和系统复杂度高而导致的故障率持续上升的问题。
• 通过在灾难性故障发生前实现故障的早期检测与传播，降低系统停机时间。
• 设计一种与主动缓解策略（如动态电压调节和进程迁移）相辅相成的故障感知基础设施。
• 通过引入独立于主数据网络的冗余、低速诊断网络，确保在高组件故障率系统中具备故障韧性。
• 即使主网络发生故障，也能通过容错的辅助网络实现故障检测与告警信息传播。

提出的方法

• LO|FA|MO 框架通过 DNP（分发网络处理器）与主机处理单元之间的相互看门狗机制，利用周期性状态检查检测故障。
• 使用专用的、低速的、高可靠性的诊断网络（服务网络），即使主 3D 环形网络失效，也能传播故障信息。
• 硬件监控器实时跟踪温度、电压、电流、误码率（BER）计数器以及内部异常寄存器，以检测故障征兆。
• 故障状态通过寄存器信号传递：DNP 本地/全局状态、主机看门狗寄存器以及 DNP 看门狗寄存器字段，用以指示存在故障的邻居节点。
• 主机故障管理器定期检查 DNP 的状态，并通过服务网络将故障事件传播给更高级别的监控单元。
• 当主机或总线发生故障时，DNP 检测到看门狗超时，并通过 DNP 看门狗寄存器向相邻节点发送信号，从而实现全局故障感知。

实验结果

研究问题

• RQ1 在包含数万个组件的千兆规模和百京规模系统中，如何有效实现故障感知的分布式部署？
• RQ2 当主通信网络受损时，哪些机制可确保故障检测与告警的可靠性？
• RQ3 DNP 与主机处理器之间的相互看门狗机制如何降低故障检测延迟并提升系统韧性？
• RQ4 低速专用诊断网络在主网络失效期间如何维持故障感知能力？
• RQ5 如何实现故障信息的分层传播，以支持协调一致的系统级响应？

主要发现

• 通过异常寄存器监控与状态标志设置，LO|FA|MO 框架能够检测 DNP 核心故障，包括路由逻辑错误和 RDMA 引擎故障。
• 当 DNP 无法更新其周期性状态寄存器时，主机检测到看门狗超时，从而识别出 DNP 核心熔毁故障。
• 通过监控专用寄存器并利用 DNP 本地/全局状态寄存器发送信号，可检测到温度与电压阈值违规。
• 主机侧外设故障由主机本地故障管理器检测，并通过主机看门狗寄存器通知，触发相邻 DNP 生成诊断数据包。
• 主机完全崩溃或总线故障由 DNP 作为看门狗超时检测到，故障通过 DNP 看门狗寄存器传播，实现全局故障感知。
• 即使主 3D 环形网络失效，系统仍能通过具备韧性的独立服务网络维持故障感知能力，实现诊断信息的可靠传递。