[论文解读] Prototype of Fault Adaptive Embedded Software for Large-Scale Real-Time Systems

Derek Messie, Min-A Jung+4 more|ArXiv.org|Apr 29, 2005

Embedded Systems and FPGA Design被引用 6

一句话总结

本文提出了一种用于大规模实时系统中故障自适应嵌入式软件的原型，特别针对费米实验室的BTeV高能物理实验。该方法采用极轻量级代理（VLAs）和用于可靠性的自适应、可重构及可移动对象（ARMOR），在16个DSP上实现了自我修复、自我保护和自我优化的容错机制，展示了在高数据速率环境下可扩展、分布式且实时的故障响应能力。

ABSTRACT

This paper describes a comprehensive prototype of large-scale fault adaptive embedded software developed for the proposed Fermilab BTeV high energy physics experiment. Lightweight self-optimizing agents embedded within Level 1 of the prototype are responsible for proactive and reactive monitoring and mitigation based on specified layers of competence. The agents are self-protecting, detecting cascading failures using a distributed approach. Adaptive, reconfigurable, and mobile objects for reliablility are designed to be self-configuring to adapt automatically to dynamically changing environments. These objects provide a self-healing layer with the ability to discover, diagnose, and react to discontinuities in real-time processing. A generic modeling environment was developed to facilitate design and implementation of hardware resource specifications, application data flow, and failure mitigation strategies. Level 1 of the planned BTeV trigger system alone will consist of 2500 DSPs, so the number of components and intractable fault scenarios involved make it impossible to design an `expert system' that applies traditional centralized mitigative strategies based on rules capturing every possible system state. Instead, a distributed reactive approach is implemented using the tools and methodologies developed by the Real-Time Embedded Systems group.

研究动机与目标

• 解决大规模、高数据速率实时系统（如BTeV粒子物理实验）中的容错挑战。
• 通过设计分布式、自适应的软件架构，克服集中式专家系统的局限性，实现故障缓解。
• 开发轻量级、自我保护的代理（VLAs）和可重构的可靠性对象（ARMOR），以实现实时错误检测、诊断与恢复。
• 通过自配置、可移动且具有反应能力的软件组件，实现对环境变化的动态适应。
• 通过使用DSP和EPICS进行故障注入与监控，在真实硬件原型中验证故障自适应组件的集成与可扩展性。

提出的方法

• 使用汇编语言实现极轻量级代理（VLAs），利用DSP的异常和中断机制，实现对故障的主动与被动监控。
• 设计VLAs时包含强制性和可选的主动组件，用于检测错误并触发缓解措施或通知上层组件。
• 开发ARMOR——具备自适应性、可重构性和可移动性的软件对象——用于L2/L3级别的可靠性，支持动态重构与故障恢复。
• 使用通用建模环境（GME）对硬件资源、数据流和故障缓解策略进行建模，以支持系统的设计与实现。
• 集成实验物理与工业控制系统（EPICS），用于故障注入以及对VLA行为和全系统故障缓解的实时监控。
• 在16个德州仪器DSP上构建原型，以在实时、高数据速率环境中验证分布式、自适应容错方法的可行性。

实验结果

研究问题

• RQ1 在包含数千个处理单元的大规模实时系统（如BTeV触发系统）中，如何实现容错？
• RQ2 何种机制使分布式、轻量级代理能够在无集中控制的情况下检测并响应故障？
• RQ3 如何在高速数据处理的实时嵌入式软件中嵌入自我修复与自我保护能力？
• RQ4 通用建模环境（GME）在实现故障自适应系统的可扩展设计与实现中发挥何种作用？
• RQ5 如何有效集成故障注入与监控机制到原型中，以验证自适应故障缓解行为？

主要发现

• 该原型成功展示了基于16个DSP的故障自适应行为，验证了基于分布式轻量级代理的容错机制的可行性。
• VLAs通过异常信号和中断处理成功检测并响应故障，实现了实时错误缓解。
• ARMOR提供了灵活的自配置机制，用于更高层级的可靠性，支持对系统变化的动态适应。
• EPICS的集成实现了有效的故障注入与对VLA缓解动作的实时监控，证实了系统的响应能力。
• 该原型揭示了在大规模协作中版本控制、系统变更日志记录以及标准化开发实践的必要性。
• 可扩展至2,500个DSP仍是主要挑战，未来工作将聚焦于在大规模环境下验证性能与容错能力。