[论文解读] Vertical Federated Learning: Concepts, Advances and Challenges

Yang Liu, Yan Kang+7 more|arXiv (Cornell University)|Nov 23, 2022

Privacy-Preserving Technologies in Data参考文献 179被引用 20

一句话总结

对垂直联邦学习（VFL）的综合综述，涵盖概念、架构、隐私保护协议、效率、有效性、安全性以及未来方向，且通过所提的 VFLow 框架进行探讨。

ABSTRACT

Vertical Federated Learning (VFL) is a federated learning setting where multiple parties with different features about the same set of users jointly train machine learning models without exposing their raw data or model parameters. Motivated by the rapid growth in VFL research and real-world applications, we provide a comprehensive review of the concept and algorithms of VFL, as well as current advances and challenges in various aspects, including effectiveness, efficiency, and privacy. We provide an exhaustive categorization for VFL settings and privacy-preserving protocols and comprehensively analyze the privacy attacks and defense strategies for each protocol. In the end, we propose a unified framework, termed VFLow, which considers the VFL problem under communication, computation, privacy, as well as effectiveness and fairness constraints. Finally, we review the most recent advances in industrial applications, highlighting open challenges and future directions for VFL.

研究动机与目标

• 提供对 VFL 概念、形式化定义及训练过程的透彻综述。
• 对 VFL 设置及隐私保护协议进行分类，并分析攻击与防御。
• 提出一个统一的优化框架（VFLow），将通信、计算、隐私和公平性纳入其中。
• 回顾在 VFL 中提升效率、有效性、隐私和安全性的策略。
• 讨论工业应用、挑战及未来研究方向。

提出的方法

• 用特征空间数据分区以及主动/被动参与方角色来定义 VFL 问题。
• 给出统一的 VFL 分类法，包括 splitVFL、aggVFL，以及带有/不带主动特征拥有者的变体。
• 详细说明一个两步的 VFL 训练协议：私有实体对齐与具中间结果的隐私保护训练。
• 综述隐私保护技术（HE、MPC、DP、TEE）及各协议相关的攻击/防御。
• 介绍扩展 VFL 定义以容纳通信、计算、隐私、有效性和公平性的 VFLow 框架。
• 讨论效率技术（多次更新、异步协调、一次性通讯、压缩、数据/特征选择）以及有效性提升（自监督学习、半监督学习与知识蒸馏）。

实验结果

研究问题

• RQ1 在垂直分区数据设置中，核心的架构变体和训练协议是什么？
• RQ2 在实际部署中，如何在 VFL 中同时兼顾隐私、效率和有效性？
• RQ3 哪种分类法和统一框架能最好地刻画 VFL 的设计空间与权衡？
• RQ4 VFL 在工业应用中的主要挑战和未来方向是什么？
• RQ5 隐私攻击/防御在不同的 VFL 协议中有何差异，如何进行缓解？

主要发现

• 本文对 VFL 设置与隐私保护协议提供了详尽的分类。
• 提出了一个统一框架（VFLow），以同时考虑通信、计算、隐私、有效性和公平性。
• 在不同 VFL 协议（HE、MPC、DP、TEE 等）中分析了隐私攻击及防御策略。
• 回顾了多种效率技术（本地更新、异步协调、一次性通信、压缩、数据/特征选择）及其权衡。
• 通过自监督学习、半监督学习和知识蒸馏来提升有效性，以利用未标注或未对齐的数据。
• 该综述讨论了工业应用、存在的挑战以及构建 VFL 生态系统的方向。