[论文解读] Secure Bilevel Asynchronous Vertical Federated Learning with Backward Updating
本文提出了 VF${\mathbf{B}}^{2}$，一种安全的、双层异步垂直联邦学习框架，采用反向更新机制，使所有参与方——主动方与被动方——能够在不泄露隐私的前提下协同训练模型。通过引入一种新颖的反向更新机制和双层异步架构，该框架在强凸与非凸设置下均具备理论收敛保证，支持高效、可扩展且无损失的训练，已在基准数据集上得到验证。
Vertical federated learning (VFL) attracts increasing attention due to the emerging demands of multi-party collaborative modeling and concerns of privacy leakage. In the real VFL applications, usually only one or partial parties hold labels, which makes it challenging for all parties to collaboratively learn the model without privacy leakage. Meanwhile, most existing VFL algorithms are trapped in the synchronous computations, which leads to inefficiency in their real-world applications. To address these challenging problems, we propose a novel {\bf VF}L framework integrated with new {\bf b}ackward updating mechanism and {\bf b}ilevel asynchronous parallel architecture (VF{${ extbf{B}}^2$}), under which three new algorithms, including VF{${ extbf{B}}^2$}-SGD, -SVRG, and -SAGA, are proposed. We derive the theoretical results of the convergence rates of these three algorithms under both strongly convex and nonconvex conditions. We also prove the security of VF{${ extbf{B}}^2$} under semi-honest threat models. Extensive experiments on benchmark datasets demonstrate that our algorithms are efficient, scalable and lossless.
研究动机与目标
- 解决当仅部分参与方持有标签时，垂直联邦学习（VFL）效率低下且不安全的问题，该问题限制了模型收敛性与隐私保护。
- 克服同步 VFL 算法在计算资源不平衡的真实系统中效率低下的问题。
- 设计一种安全、可扩展且无损失的训练框架，使所有参与方（包括无标签的被动方）均能参与模型更新。
- 在所提出的框架下，为 SGD 类算法在强凸与非凸条件下建立理论收敛速率。
- 证明在半诚实威胁模型下框架的安全性，确保模型训练过程中隐私得到保护。
提出的方法
- 提出一种新颖的反向更新机制（BUM），使被动方能够通过利用主动方的梯度来参与模型更新，实现在无标签访问情况下的协作学习。
- 设计一种双层异步并行架构（BAPA），将全局更新与本地更新解耦，使各参与方能够异步更新，同时保持收敛性。
- 在 BUM 与 BAPA 框架下，提出三种新算法——VF${\mathbf{B}}^{2}$-SGD、-SVRG 和 -SAGA，分别基于随机梯度下降、方差缩减与平均梯度方法。
- 采用全局到本地的梯度聚合策略，各参与方使用过时或不一致的参数读取计算本地梯度，以最小化通信开销。
- 基于李雅普诺夫函数与随机逼近理论，构建收敛性分析框架，推导出在强凸与非凸设置下的收敛速率。
- 在半诚实威胁模型下应用安全证明，确保任一参与方无法从传输的梯度或中间结果中推断敏感数据或模型参数。
实验结果
研究问题
- RQ1VFL 框架能否在不损害隐私或准确性的前提下，使无标签的被动方有意义地参与模型训练？
- RQ2如何在 VFL 中设计异步更新机制，以在计算资源不平衡的系统中提升训练效率，同时不牺牲收敛性？
- RQ3在具备反向更新的双层异步 VFL 设置下，SGD 类算法的理论收敛保证为何？
- RQ4在垂直联邦学习背景下，如何形式化证明反向更新机制在半诚实威胁模型下的安全性？
- RQ5与标准 VFL 方法相比，所提出的框架能否实现无损失的模型性能，尤其是在仅部分参与方持有标签的情况下？
主要发现
- 所提出的 VF${\mathbf{B}}^{2}$ 框架在强凸与非凸问题上均实现收敛，理论边界表明期望的平方梯度范数随 $T$（训练轮数）呈 $\mathcal{O}(1/T)$ 递减。
- 反向更新机制使所有参与方（包括被动方）均能参与模型更新，确保参数的完整优化，消除模型精度损失。
- 该框架在半诚实威胁模型下被证明是安全的，可防止通过传输梯度或中间结果泄露信息。
- 在基准数据集上的大量实验表明，VF${\mathbf{B}}^{2}$-SGD、-SVRG 与 -SAGA 在效率、可扩展性方面表现优异，且与基线 VFL 方法相比实现无损失性能。
- 收敛速率分析证实，该框架在非凸设置下仍保持 $\mathcal{O}(1/T)$ 的收敛速度，其显式依赖于学习率 $\gamma = \frac{m_0}{L_* n^\alpha}$ 与问题参数。
- 由于其双层异步设计，该框架对通信延迟与计算负载不平衡具有鲁棒性，在真实部署场景中优于同步版本。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。