[论文解读] Taming Preconditioner Drift: Unlocking the Potential of Second-Order Optimizers for Federated Learning on Non-IID Data

Junkang Liu, Fanhua Shang+4 more|arXiv (Cornell University)|Feb 22, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

论文将前置条件漂移识别为非IID数据下联邦二阶优化的核心不稳定性，并提出 FedPAC 以对齐并纠正本地前置条件，从而在视觉和语言任务中实现更快、更加稳定的收敛。

ABSTRACT

Second-order optimizers can significantly accelerate large-scale training, yet their naive federated variants are often unstable or even diverge on non-IID data. We show that a key culprit is \emph{preconditioner drift}: client-side second-order training induces heterogeneous \emph{curvature-defined geometries} (i.e., preconditioner coordinate systems), and server-side model averaging updates computed under incompatible metrics, corrupting the global descent direction. To address this geometric mismatch, we propose exttt{FedPAC}, a \emph{preconditioner alignment and correction} framework for reliable federated second-order optimization. exttt{FedPAC} explicitly decouples parameter aggregation from geometry synchronization by: (i) extbf{Alignment} (i.e.,aggregating local preconditioners into a global reference and warm-starting clients via global preconditioner); and (ii) extbf{Correction} (i.e., steering local preconditioned updates using a global preconditioned direction to suppress long-term drift). We provide drift-coupled non-convex convergence guarantees with linear speedup under partial participation. Empirically, exttt{FedPAC} consistently improves stability and accuracy across vision and language tasks, achieving up to $5.8\%$ absolute accuracy gain on CIFAR-100 with ViTs. Code is available at https://anonymous.4open.science/r/FedPAC-8B24.

研究动机与目标

• 在非IID数据下识别联邦二阶优化中不稳定性的原因（前置条件漂移）。
• 提出统一框架 FedPAC，以对齐全局与本地前置条件并在更新中进行纠正。
• 给出收敛性保证并提供在视觉和语言任务中提升稳定性与准确性的实证证据。

提出的方法

• 定义并测量前置条件漂移，即在客户端之间本地前置条件与全局前置条件的差异。
• 提出 FedPAC，将几何对齐（对齐）与参数聚合（纠正）解耦。
• 在 SOAP、Muon、Sophia 之上实现 FedPAC，从而得到 FedPAC_Sophia、FedPAC_Muon、FedPAC_SOAP。
• 通过将本地前置条件聚合为全局参考并用其对客户端进行热启动来实现对齐。
• 通过将局部带前置条件的更新与全局方向结合，并使用折中参数 beta 进行纠正。
• 给出漂移耦合的非凸收敛性保证，显示漂移项减少且收敛更快。

Figure 1 : (a) In non-IID FL, first-order methods converge slowly, inducing little client drift. (b) Second-order methods converge faster locally and thus drift toward local optima, causing the aggregated global model to deviate from global optimum. (c) FedPAC corrects local second-order updates, yi

实验结果

研究问题

• RQ1 前置条件漂移是否能解释 naive 联邦二阶方法在非IID数据上表现不佳的原因？
• RQ2 FedPAC 是否能有效对齐并纠正本地前置条件，从而在异质设置中恢复或超越一阶 FL 的表现？
• RQ3 在标准光滑性与有界异质性假设下，FedSOA 与 FedPAC 的收敛性保证是什么？
• RQ4 FedPAC 的变体在 IID 与非 IID 情况下对 CNN、Vision Transformer 与语言模型的表现如何？
• RQ5 FedPAC中的纠正强度 beta 的作用是什么？

主要发现

• 二阶联邦方法在非IID数据上存在前置条件漂移，降低全局收敛性。
• FedPAC 可减少前置条件漂移，并在 CNN、ViT、语言模型上实现更快、更加稳定的收敛。
• FedPAC 的变体在本地二阶基线的准确性上普遍提升，特别是在数据异质性较强（Dirichlet 分区）时。
• 在 CIFAR-100 与 Tiny-ImageNet 上，FedPAC 相比基线取得显著提升，并在使用 LLaMA 模型进行 C4 预训练时表现强劲。
• 理论结果显示漂移耦合的收敛性保证，FedPAC 消除了显式的异质性项并降低漂移相关噪声。
• 消融研究证实对齐与纠正均为必要，beta ≈ 0.5 能提供稳健性能。

(a) ResNet-18, IID