[论文解读] Multi-VFL: A Vertical Federated Learning System for Multiple Data and Label Owners

Vaikkunth Mugunthan, Pawan Goyal+1 more|arXiv (Cornell University)|Jun 10, 2021

Privacy-Preserving Technologies in Data参考文献 17被引用 6

一句话总结

本文提出 Multi-VFL，首个适用于多个数据拥有者（D）和多个标签拥有者（K）场景的纵向联邦学习框架，实现无需共享原始数据的协作模型训练。该框架结合分裂学习与自适应联邦优化器（如 FedDemonAdam），在 MNIST 和 FashionMNIST 数据集上展现出更快的收敛速度和更高的准确率，尤其在非独立同分布（non-IID）标签分布下表现更优。

ABSTRACT

Vertical Federated Learning (VFL) refers to the collaborative training of a model on a dataset where the features of the dataset are split among multiple data owners, while label information is owned by a single data owner. In this paper, we propose a novel method, Multi Vertical Federated Learning (Multi-VFL), to train VFL models when there are multiple data and label owners. Our approach is the first to consider the setting where $D$-data owners (across which features are distributed) and $K$-label owners (across which labels are distributed) exist. This proposed configuration allows different entities to train and learn optimal models without having to share their data. Our framework makes use of split learning and adaptive federated optimizers to solve this problem. For empirical evaluation, we run experiments on the MNIST and FashionMNIST datasets. Our results show that using adaptive optimizers for model aggregation fastens convergence and improves accuracy.

研究动机与目标

• 填补现实应用中常见（如医疗领域）多个数据拥有者与多个标签拥有者场景下纵向联邦学习（VFL）的空白。
• 解决因多个标签拥有者之间标签分布非独立同分布（non-IID）所导致的客户端漂移与联邦学习收敛性差的问题。
• 通过在聚合过程中集成自适应优化器（如 FedAdam、FedYogi、FedDemonAdam），提升纵向 FL 中的模型性能。
• 利用基于私有集合交集（Private Set Intersection, PSI）的安全实体对齐技术，实现跨分布式实体的隐私保护协作，避免共享敏感数据。
• 通过在 MNIST 与 FashionMNIST 上的实证评估，验证自适应优化器在非独立同分布设置下的有效性。

提出的方法

• 将特征分布在 D 个数据拥有者之间，将标签分布在 K 个标签拥有者之间，利用分裂学习训练共享的深度神经网络，无需数据共享。
• 在神经网络中设置一个剪切层（cut layer），由数据拥有者计算激活值，并将其传递给标签拥有者完成前向传播。
• 在标签端执行反向传播，并在剪切层处分割梯度，将梯度回传至对应的数据拥有者以执行本地权重更新。
• 在服务器端采用联邦优化器（FedAvg、FedAdam、FedYogi、FedDemonAdam）实现机制，整合来自 K 个标签拥有者的模型更新。
• 应用 Demon（衰减动量）规则，自适应调整基于 Adam 的优化器中的动量，以提升在非独立同分布设置下的收敛性能。
• 集成私有集合交集（PSI）技术，安全识别数据拥有者与标签拥有者之间的重叠个体，而无需暴露原始标识信息。

实验结果

研究问题

• RQ1 纵向联邦学习能否有效扩展至多个数据拥有者与多个标签拥有者的情境？
• RQ2 多个标签拥有者之间非独立同分布（non-IID）的标签分布如何影响纵向 FL 中的模型收敛性与准确率？
• RQ3 在非独立同分布标签条件下，自适应联邦优化器（如 FedAdam、FedDemonAdam）是否在收敛速度与最终准确率上优于 FedAvg？
• RQ4 在多标签拥有者纵向 FL 场景中，集成自适应优化器是否能缓解客户端漂移并提升模型性能？
• RQ5 标签分布多样性（如部分拥有者拥有完整标签，其他仅拥有子集）对整体训练性能有何影响？

主要发现

• 当 5 个标签拥有者中有 4 个具有高度非独立同分布（4niid）标签分布时，FedAvg 在 500 个周期后无法收敛，尤其在 FashionMNIST 数据集上表现明显。
• 与 FedAvg 相比，自适应优化器（如 FedDemonAdam 和 FedYogi）显著提升了收敛速度与最终准确率，尤其在非独立同分布设置下优势明显。
• 在 FashionMNIST 数据集上，自适应优化器相比 FedAvg 将模型准确率提升了 2–3%，验证了其在复杂数据分布场景下的有效性。
• 随着非独立同分布标签拥有者数量的增加，模型准确率持续下降，证实了标签分布偏移对 FedAvg 的负面影响。
• 所提出的 Multi-VFL 框架成功实现了在多个数据与标签拥有者之间无原始数据共享的模型训练，通过自适应聚合机制实现了稳定收敛。
• 将 Demon（衰减动量）规则集成至基于 Adam 的优化中，显著提升了本地非独立同分布设置下的性能，验证了其在联邦环境中的有效性。