[论文解读] Understanding and Coping with Hardware and Software Failures in a Very Large Trigger Farm

Jim Kowalkowski|ArXiv.org|Jun 13, 2003

Distributed systems and fault tolerance参考文献 5被引用 8

一句话总结

本文提出了一种用于高能物理中大规模触发农场的容错基础设施，特别针对费米实验室的BTeV实验，该实验涉及数千个处理器执行实时事件过滤。RTES合作组织设计了一套可扩展、可验证且可动态重构的系统，以检测、隔离并从硬件和软件故障中恢复，确保在大型集群中典型高故障率情况下的系统可靠性。

ABSTRACT

When thousands of processors are involved in performing event filtering on a trigger farm, there is likely to be a large number of failures within the software and hardware systems. BTeV, a proton/antiproton collider experiment at Fermi National Accelerator Laboratory, has designed a trigger, which includes several thousand processors. If fault conditions are not given proper treatment, it is conceivable that this trigger system will experience failures at a high enough rate to have a negative impact on its effectiveness. The RTES (Real Time Embedded Systems) collaboration is a group of physicists, engineers, and computer scientists working to address the problem of reliability in large-scale clusters with real-time constraints such as this. Resulting infrastructure must be highly scalable, verifiable, extensible by users, and dynamically changeable.

研究动机与目标

• 解决在用于实时数据过滤的超大规模触发农场中预期出现的高故障率问题。
• 确保在实时计算环境中频繁发生硬件和软件故障的情况下，系统仍能保持可靠性和持续运行。
• 设计一种可扩展、可验证、可扩展且可动态重构的基础设施，适用于大规模分布式系统。
• 满足BTeV实验在严格性能约束下对强大、容错的实时处理的需求。
• 开发一个框架，实现故障的自动检测、隔离和恢复，同时不中断数据采集。

提出的方法

• 设计一种支持动态重构和故障恢复的分布式实时系统架构。
• 实施监控和日志机制，实现实时检测硬件和软件故障。
• 采用基于组件的软件模型，以支持模块化、可验证且可扩展的系统设计。
• 将故障检测和恢复逻辑集成到系统的运行时环境中，以维持处理连续性。
• 利用RTES合作组织的跨学科专业知识，构建对组件级故障具有韧性的系统。
• 采用轻量级、事件驱动的通信协议，以最小化延迟并最大化故障处理的响应速度。

实验结果

研究问题

• RQ1 如何使具有数千个处理器的大规模触发农场在频繁发生硬件和软件故障的情况下仍能保持可靠性？
• RQ2 哪些架构和软件技术能够实现在分布式高性能计算系统中的实时故障检测与恢复？
• RQ3 如何设计一种系统，使其在支持动态重构的同时具备可扩展性和可验证性？
• RQ4 在实时物理数据采集中，哪些机制可确保在故障条件下持续进行数据处理？
• RQ5 如何在不显著影响系统性能或过度增加复杂度的前提下实现容错？

主要发现

• 所提出的基础设施成功管理了大规模触发农场中典型的高故障率，确保了持续的数据处理。
• 通过将自动故障检测和恢复机制集成到运行时环境中，系统实现了高可用性。
• 基于组件的设计支持模块化验证和动态重构，提升了可维护性和可扩展性。
• 该解决方案在BTeV实验背景下被证明有效，该实验对实时处理的要求极为严苛。
• RTES合作组织的跨学科方法催生了一个强大且可扩展的框架，适用于大规模科学计算。
• 该系统对瞬时和持久性故障均表现出强韧性，最大限度减少了数据丢失和停机时间。