[论文解读] Tolerating Silent Data Corruption in Opaque Preconditioners

James John Elliott, Mark Frederick Hoemmen+1 more|arXiv (Cornell University)|Apr 22, 2014

Radiation Effects in Electronics参考文献 24被引用 7

一句话总结

本文提出一种选择性可靠性方法，用于在不修改预条件器代码的前提下，容忍迭代线性求解器中使用的不透明预条件器的隐性数据损坏（SDC）。通过仅在外部GMRES迭代中应用故障检测与回滚，而让内部求解以不可靠方式运行，该方法在最坏情况下仅带来1.8%的开销，从而在大规模ILU(k)和代数多重网格预条件器中实现正确解。

ABSTRACT

We demonstrate algorithm-based fault tolerance for silent, transient data corruption in "black-box" preconditioners. We consider both additive Schwarz domain decomposition with an ILU(k) subdomain solver, and algebraic multigrid, both implemented in the Trilinos library. We evaluate faults that corrupt preconditioner results in both single and multiple MPI ranks. We then analyze how our approach behaves when then application is scaled. Our technique is based on a Selective Reliability approach that performs most operations in an unreliable mode, with only a few operations performed reliably. We also investigate two responses to faults and discuss the performance overheads imposed by each. For a non-symmetric problem solved using GMRES and ILU, we show that at scale our fault tolerance approach incurs only 22% overhead for the worst case. With detection techniques, we are able to reduce this overhead to 1.8% in the worst case.

研究动机与目标

• 为解决大规模科学计算中的隐性数据损坏（SDC）问题，其中错误结果可能未被检测到并导致灾难性故障。
• 在不修改ILU(k)或代数多重网格等复杂、不透明的预条件器的情况下，实现迭代线性求解器的容错能力。
• 通过仅在外部迭代中应用可靠性机制，实现性能开销最小化，同时依赖高效的内部求解。
• 评估在多个MPI进程下强缩放和弱缩放场景中，容错机制的可扩展性和鲁棒性。
• 证明通过残差范数单调性及投影范数界检测大错误，可显著降低容错开销。

提出的方法

• 采用选择性可靠性策略：大部分计算以不可靠模式执行，仅在外部GMRES迭代中应用可靠检查。
• 采用内外迭代结构，使外部GMRES求解器保持可靠，而内部预条件器求解以不可靠方式执行。
• 通过监控GMRES中残差范数的单调递减性并施加来自Elliott [14] 推导出的投影范数界来实现故障检测。
• 实施回滚与检测策略，以识别并纠正被污染的预条件器输出，而无需重新运行整个求解过程。
• 使用故障模型模拟整个MPI进程返回被污染数据的情形，代表严重的SDC场景。
• 评估两种预条件器：Trilinos库中的ILU(k)与代数多重网格（MueLu）的加法 Schwarz 方法。

实验结果

研究问题

• RQ1 是否可以在不修改ILU(k)或代数多重网格等不透明预条件器的前提下，实现在迭代线性求解器中的容错？
• RQ2 当SDC影响多个MPI进程时，容错的性能开销是多少？其在强缩放和弱缩放下的表现如何？
• RQ3 通过监控残差范数和投影边界实现的检测技术，是否能将容错开销降低至低于朴素双重启策略的水平？
• RQ4 被污染的预条件器输出的2-范数如何影响容错开销和求解器收敛性？
• RQ5 在发生故障时，用小数值替换缺失或被污染的数据是否能提升在SDC情况下的韧性？

主要发现

• 在含故障检测的情况下，该方法在使用GMRES和ILU的非对称问题中，最坏情况下的开销仅为1.8%，展现出极高的效率。
• 对于同一问题，若无检测机制，开销高达22%，表明检测对于最小化性能成本至关重要。
• 导致预条件器输出2-范数增大的故障，其带来的开销显著高于那些维持或降低该范数的故障。
• 弱缩放结果表明，当进程数从24增加到1032时，容错开销从约10%上升至接近100%，尤其在子域完全被污染时更为明显。
• 基于残差范数单调性与投影范数界的检测方法，检测到的故障数量多于任一独立技术，从而提升了可靠性。
• 在故障发生时，用小数值替换被污染数据是一种可行的恢复策略，尤其在故障进程数量较少时效果更佳。