[论文解读] Personalised Federated Learning On Heterogeneous Feature Spaces

Alain Rakotomamonjy, Maxime Vono+2 more|arXiv (Cornell University)|Jan 26, 2023

Privacy-Preserving Technologies in Data参考文献 61被引用 5

一句话总结

该论文提出FLIC，一种针对异构特征空间的个性化联邦学习框架，其中客户端使用不同的数据表示。它通过可学习的本地嵌入函数将客户端数据映射到共享潜在空间，并利用联邦学习得到的Wasserstein中位数锚点对齐分布，从而在数据异构性背景下实现有效的模型聚合并提升性能。

ABSTRACT

Most personalised federated learning (FL) approaches assume that raw data of all clients are defined in a common subspace i.e. all clients store their data according to the same schema. For real-world applications, this assumption is restrictive as clients, having their own systems to collect and then store data, may use heterogeneous data representations. We aim at filling this gap. To this end, we propose a general framework coined FLIC that maps client's data onto a common feature space via local embedding functions. The common feature space is learnt in a federated manner using Wasserstein barycenters while the local embedding functions are trained on each client via distribution alignment. We integrate this distribution alignement mechanism into a federated learning approach and provide the algorithmics of FLIC. We compare its performances against FL benchmarks involving heterogeneous input features spaces. In addition, we provide theoretical insights supporting the relevance of our methodology.

研究动机与目标

• 解决个性化联邦学习中客户端假设存在统一数据模式的局限性，该假设在实践中往往不现实。
• 应对客户端具有不同特征维度或语义时训练个性化模型的挑战。
• 开发一种框架，实现在原始数据表示异构的客户端之间有效知识共享。
• 确保来自相同语义类别的数据即使在输入特征不同时，也能在共享潜在空间中被映射得彼此接近。
• 提供一种理论基础坚实、通过联邦学习训练的分布对齐方法，以支持个性化模型学习。

提出的方法

• 引入本地嵌入函数，将每个客户端的原始数据映射到共享的低维潜在空间。
• 将全局潜在锚定分布定义为分布对齐的参考，通过联邦Wasserstein中位数计算学习得到。
• 使用分布对齐训练本地嵌入函数，以最小化每个客户端嵌入数据与共享锚定分布之间的Wasserstein距离。
• 将分布对齐机制整合到个性化联邦学习框架中，实现本地模型个性化的同时保持全局一致性。
• 采用联邦优化方案，客户端更新其本地锚定分布和嵌入函数，服务器计算本地锚定分布的中位数。
• 在合成数据集和真实世界数据集（包括图像-文本配对和表格数据）上应用该框架，并对预训练和参与率进行消融研究。

实验结果

研究问题

• RQ1 如何有效将个性化联邦学习扩展到异构特征空间的客户端，其中数据表示在维度或语义上存在差异？
• RQ2 是否可以以联邦方式学习一个共享潜在空间，使得具有不同输入表示的客户端中同一语义类别的数据能够对齐？
• RQ3 对本地嵌入函数进行预训练并在训练过程中更新，对模型性能和泛化能力有何影响？
• RQ4 客户端参与率如何影响所提出的FLIC框架中的收敛性和性能？
• RQ5 通过Wasserstein中位数进行分布对齐在异构联邦学习设置中在多大程度上提升了模型准确率和鲁棒性？

主要发现

• 与标准联邦学习基准相比，所提出的FLIC框架在异构特征空间设置下显著提升了性能，尤其在客户端数据模式不匹配时表现更优。
• 在模拟线性映射数据集上，对本地嵌入函数进行10至50轮的预训练可达到最优性能，超过此范围则出现过拟合。
• 模型对不同的客户端参与率保持鲁棒，但若本地训练轮数过高，性能可能因过拟合而下降。
• t-SNE可视化显示，来自不同客户端的类条件分布均向锚定分布的均值收敛，证实了有效的分布对齐。
• 在损失函数中引入到锚定分布的Wasserstein距离，虽然导致整体损失值增大，但显著改善了对齐效果和泛化能力。
• 该框架在真实世界任务（如图像字幕分类）中表现出良好的泛化能力，即使字幕中存在模糊或稀疏的文本线索亦然。