[论文解读] SA-PEF: Step-Ahead Partial Error Feedback for Efficient Federated Learning

Dawit Kiros Redie, Reza Arablouei+1 more|arXiv (Cornell University)|Jan 28, 2026

Privacy-Preserving Technologies in Data被引用 0

一句话总结

SA-PEF 将逐步前瞻校正与部分误差反馈相结合，在联邦学习中加速早期训练，同时在有偏压缩与非IID数据下保持 EF 稳定性。在实际 FL 设置下实现收敛保证和更快的准确性。

ABSTRACT

Biased gradient compression with error feedback (EF) reduces communication in federated learning (FL), but under non-IID data, the residual error can decay slowly, causing gradient mismatch and stalled progress in the early rounds. We propose step-ahead partial error feedback (SA-PEF), which integrates step-ahead (SA) correction with partial error feedback (PEF). SA-PEF recovers EF when the step-ahead coefficient $α=0$ and step-ahead EF (SAEF) when $α=1$. For non-convex objectives and $δ$-contractive compressors, we establish a second-moment bound and a residual recursion that guarantee convergence to stationarity under heterogeneous data and partial client participation. The resulting rates match standard non-convex Fed-SGD guarantees up to constant factors, achieving $O((η,η_0TR)^{-1})$ convergence to a variance/heterogeneity floor with a fixed inner step size. Our analysis reveals a step-ahead-controlled residual contraction $ρ_r$ that explains the observed acceleration in the early training phase. To balance SAEF's rapid warm-up with EF's long-term stability, we select $α$ near its theory-predicted optimum. Experiments across diverse architectures and datasets show that SA-PEF consistently reaches target accuracy faster than EF.

研究动机与目标

• 在具有非IID数据与本地更新的 FL 中，激励降低通信量而不牺牲收敛性。
• 提出 SA-PEF，将逐步前瞻校正与部分误差反馈融合。
• 在部分参与下为 δ-收缩压缩器提供非凸收敛保证。
• 在多数据集与架构上展示准确性和通信效率的实证提升。

提出的方法

• 引入一个可调的逐步前瞻系数 αr，将残差预览与部分误差反馈进行混合。
• 对本地模型执行逐步前瞻移位： wr+1/2,0 = wr − αr er。
• 从逐步前瞻模型开始运行 T 次本地 SGD 步，步长为 ηr。
• 计算本地更新 gr(k) 并将残差与更新混合： ur+1(k) = (1−αr) er + gr(k)。
• 通过 δ-收缩压缩器对 ur+1(k) 进行压缩并发送，并更新残差 er+1(k) = ur+1(k) − C(ur+1(k))。
• 服务器聚合压缩更新并更新全局模型： wr+1 = wr − η ur+1，且共享 αr 调度。

((a)) $p{=}0.1$ , $\gamma{=}0.5$

实验结果

研究问题

• RQ1 在带有本地步数和非 IID 数据以及有偏压缩的情况下，SA-PEF 是否能在非凸 FL 中保证收敛到驻点？
• RQ2 逐步前瞻系数 αr 如何影响残差收缩与 FL 的早期训练加速？
• RQ3 SA-PEF 在快速热身与长期稳定性之间有哪些理论与实际权衡？
• RQ4 在部分参与下，SA-PEF 在不同架构和数据集上的准确性与通信效率表现如何？
• RQ5 SA-PEF 如何与 Fed-EF 和 SAEF 相联系并在二者之间插值？

主要发现

• SA-PEF 使每轮残差收缩率 ρr 明显小于 EF（在 s0 较小的情况下），解释了早期进展更快。
• SA-PEF 在 EF（αr = 0）和 SAEF（αr = 1）之间插值，提供稳定性与热身行为的优雅光谱。
• 收敛性保证显示在非凸的驻点上达到 O((η η0 T R)−1) 的速率，且残留/异质性底线与先前的压缩 FL 分析相似。
• 理论结果展示了收缩如何依赖于 αr 与 s0 = η0 L T，指引 αr 接近最优值以实现更快收敛。
• 在 CIFAR-10/100 与 Tiny-ImageNet 的多种非 IID 设置及 Top-k 稀疏化上的实验表明，SA-PEF 能比 EF 与 SAEF 更快达到目标准确度，并且在准确性-通信权衡方面优于 CSER。
• SA-PEF 在一系列 α 值下保持鲁棒，极端 α 值（接近 0 或 1）会降低其优势，给出在 0.8–0.9 的默认区间的实用建议。

((b)) $p{=}0.1$ , $\gamma{=}0.5$