[论文解读] Vertical Federated Learning: A Structured Literature Review

Afsana Khan, Marijn ten Thij+1 more|arXiv (Cornell University)|Dec 1, 2022

Privacy-Preserving Technologies in Data被引用 9

一句话总结

本篇结构化文献综述全面分析了垂直联邦学习（VFL），这是一种隐私保护的机器学习范式，允许组织在垂直划分的数据上协作训练模型——在不暴露原始数据的前提下共享相同样本集的特征。本文识别了通信、学习、隐私和商业价值方面的关键挑战，并概述了最先进的解决方案及八个未来研究方向，包括隐私保护的特征选择、公平性、激励机制和可解释性。

ABSTRACT

Federated Learning (FL) has emerged as a promising distributed learning paradigm with an added advantage of data privacy. With the growing interest in having collaboration among data owners, FL has gained significant attention of organizations. The idea of FL is to enable collaborating participants train machine learning (ML) models on decentralized data without breaching privacy. In simpler words, federated learning is the approach of ``bringing the model to the data, instead of bringing the data to the mode''. Federated learning, when applied to data which is partitioned vertically across participants, is able to build a complete ML model by combining local models trained only using the data with distinct features at the local sites. This architecture of FL is referred to as vertical federated learning (VFL), which differs from the conventional FL on horizontally partitioned data. As VFL is different from conventional FL, it comes with its own issues and challenges. In this paper, we present a structured literature review discussing the state-of-the-art approaches in VFL. Additionally, the literature review highlights the existing solutions to challenges in VFL and provides potential research directions in this domain.

研究动机与目标

• 为研究人员提供垂直联邦学习（VFL）当前技术前沿的系统性概述。
• 识别并分类VFL在通信、学习、隐私与安全、商业价值四个维度中的关键挑战。
• 分析现有解决方案与方法论在VFL系统中应对这些挑战的策略。
• 突出开放的研究问题，并提出八个VFL的未来研究方向，包括隐私保护的特征选择、公平性、激励机制和可解释性。
• 支持在医疗、金融及其他数据敏感领域中实现安全、公平且可扩展的VFL系统，以支持实际应用。

提出的方法

• 对VFL的同行评审论文及预印本论文进行了结构化文献综述，重点关注技术、隐私和商业方面。
• 根据其在通信效率、模型收敛性、密码学安全性和数据隐私方面的处理方式，对现有VFL方法进行分类。
• 将解决方案映射至四大关键类别中的挑战：通信、学习、隐私与安全、商业价值。
• 评估了在VFL框架中使用密码学技术（如安全聚合、同态加密和秘密共享）的实践。
• 分析了合作博弈论（特别是Shapley值）在VFL激励机制中用于衡量客户端贡献的应用。
• 探索了可解释人工智能（XAI）和公平性感知学习等新兴趋势在VFL中的应用，以应对可解释性与偏差缓解问题。

实验结果

研究问题

• RQ1 垂直联邦学习（VFL）中的核心技术、隐私和商业挑战是什么？
• RQ2 现有解决方案如何应对VFL中的通信效率、模型收敛性和数据隐私问题？
• RQ3 用于在VFL中实现安全协作的关键密码学与机器学习技术有哪些？
• RQ4 在非相同、垂直划分的数据源上训练VFL模型时，如何减轻公平性与偏差问题？
• RQ5 什么样的激励机制可以公平地奖励VFL中的数据贡献者，同时保护隐私并检测恶意行为？

主要发现

• VFL使组织能够在拥有相同样本但不同特征的垂直划分数据上协作训练模型，而无需共享原始数据，从而保护隐私。
• 通信开销仍是VFL中的主要挑战，尤其因客户端与中心服务器之间频繁交换模型参数所致。
• 密码学技术（如安全聚合和同态加密）被广泛用于保护训练过程中的模型更新和特征表示。
• 尽管已有进展，VFL中的隐私保护特征选择仍研究不足，是重大的开放研究挑战。
• 由于数据异构性和异步更新，VFL中的公平性难以实现，且目前缺乏有效方法确保此类环境下的无偏模型训练。
• 基于Shapley值的激励机制虽常见但计算成本高；未来有前景的方向包括采用其他合作博弈论概念和参与者选择策略。