[论文解读] StreamShield: A Production-Proven Resiliency Solution for Apache Flink at ByteDance

Yong Fang, Yuxing Han+4 more|arXiv (Cornell University)|Feb 3, 2026

Software System Performance and Reliability被引用 0

一句话总结

StreamShield 是面向 ByteDance 的 Apache Flink 集群的生产级弹性解决方案，引入引擎层、集群层和版本发布层的技术，以在生产规模评估中提升容错性、稳定性和部署效率。

ABSTRACT

Distributed Stream Processing Systems (DSPSs) form the backbone of real-time processing and analytics at ByteDance, where Apache Flink powers one of the largest production clusters worldwide. Ensuring resiliency, the ability to withstand and rapidly recover from failures, together with operational stability, which provides consistent and predictable performance under normal conditions, is essential for meeting strict Service Level Objectives (SLOs). However, achieving resiliency and stability in large-scale production environments remains challenging due to the cluster scale, business diversity, and significant operational overhead. In this work, we present StreamShield, a production-proven resiliency solution deployed in ByteDance's Flink clusters. Designed along complementary perspectives of the engine and cluster, StreamShield introduces key techniques to enhance resiliency, covering runtime optimization, fine-grained fault-tolerance, hybrid replication strategy, and high availability under external systems. Furthermore, StreamShield proposes a robust testing and deployment pipeline that ensures reliability and robustness in production releases. Extensive evaluations on a production cluster demonstrate the efficiency and effectiveness of techniques proposed by StreamShield.

研究动机与目标

• 解决 ByteDance 大规模 Flink 部署中的弹性与运维稳定性挑战。
• 开发引擎层、集群层和版本发布层的技术，以提升恢复速度、负载均衡和部署效率。
• 在异构工作负载下尽量降低恢复开销，同时维持对 SLO 的合规性。
• 提供在上线前验证弹性的生产级流水线。

提出的方法

• 引擎级弹性：自适应运行时优化与细粒度容错机制。
• 基于群组和负载感知的数据重新分配策略（自适应洗牌：基于积压的洗牌与 Group-Rescale）。
• WeakHash 分区以扩散热点键并降低倾斜。
• 受 DS2 启发的自动伸缩，提升稳定性与安全性。
• 细粒度容错：区域检查点、单任务恢复与 State LazyLoad。
• 作业启动加速：解析/状态共享优化、任务部署批处理、慢启动处理与 HotUpdate。
• 高可用构建：混合复制（主动/被动）与对依赖感知的容错。

Figure 1 : The Architecture of Apache Flink.

实验结果

研究问题

• RQ1 在具有异构工作负载的生产规模 Flink 部署中，如何提升弹性？
• RQ2 在故障与背压下，哪些引擎层、集群层和版本发布层技术能改善恢复延迟、数据完整性与运维开销？
• RQ3 细粒度容错机制是否能够在不损及正确性的前提下，降低恢复范围与延迟，适用于常见的流处理工作负载？
• RQ4 如何减少部署与启动开销，以满足 ByteDance 大规模集群的严格 SLO？
• RQ5 外部依赖的鲁棒性在维持 Flink 弹性与可用性中扮演何种角色？

主要发现

• StreamShield 通过工程化的运行时优化和细粒度恢复机制，展示了生产规模的弹性改进。
• 混合复制策略在恢复延迟与开销之间达到平衡，同时提升对外部依赖的鲁棒性。
• 区域检查点、单任务恢复与 State LazyLoad 在大型有状态作业中减少恢复范围与宕机时间。
• 基于积压的洗牌与 Group-Rescale 提高了负载均衡，缓解异构集群中的背压效应。
• 自动伸缩的增强与 HotUpdate 缩短了启动与重启时间，助力更紧凑地满足 SLO。
• 配备稳健的发布流水线，结合混沌测试与基准测试，在生产上线前验证弹性。

Figure 3 : Original v.s. Region Checkpointing.