[论文解读] Self-supervised Cross-silo Federated Neural Architecture Search

Xinle Liang, Yang Liu+4 more|arXiv (Cornell University)|Jan 28, 2021

Privacy-Preserving Technologies in Data参考文献 74被引用 17

一句话总结

本文提出自监督跨孤岛联邦神经架构搜索（SS-VFNAS），一种在纵向联邦学习（VFL）设置下实现隐私保护、自动化的神经架构搜索方法。各方首先在其本地数据上进行自监督表征学习，然后仅利用重叠样本协作优化一个共享的高性能架构，相比现有联邦NAS方法，在性能、通信效率和隐私保护方面表现更优，尤其在数据重叠率较低时优势显著。

ABSTRACT

Federated Learning (FL) provides both model performance and data privacy for machine learning tasks where samples or features are distributed among different parties. In the training process of FL, no party has a global view of data distributions or model architectures of other parties. Thus the manually-designed architectures may not be optimal. In the past, Neural Architecture Search (NAS) has been applied to FL to address this critical issue. However, existing Federated NAS approaches require prohibitive communication and computation effort, as well as the availability of high-quality labels. In this work, we present Self-supervised Vertical Federated Neural Architecture Search (SS-VFNAS) for automating FL where participants hold feature-partitioned data, a common cross-silo scenario called Vertical Federated Learning (VFL). In the proposed framework, each party first conducts NAS using self-supervised approach to find a local optimal architecture with its own data. Then, parties collaboratively improve the local optimal architecture in a VFL framework with supervision. We demonstrate experimentally that our approach has superior performance, communication efficiency and privacy compared to Federated NAS and is capable of generating high-performance and highly-transferable heterogeneous architectures even with insufficient overlapping samples, providing automation for those parties without deep learning expertise.

研究动机与目标

• 解决在数据特征分区且隐私至关重要的纵向联邦学习（VFL）环境中设计最优神经架构的挑战。
• 通过在协作架构搜索前引入自监督预训练，降低联邦NAS中的通信与计算开销。
• 使非专家参与者无需访问全局数据或标签，即可自动发现高性能、可迁移的模型。
• 在重叠样本有限的情况下，提升VFL中的模型性能与隐私保护能力。
• 证明来自不同数据领域（如MRI与PET）的自监督表征可有效初始化并改进下游VFL架构。

提出的方法

• 各方使用对比学习在其本地未标注数据上进行自监督表征学习，以学习可迁移的特征。
• 在自监督表征上使用NAS搜索本地最优架构，无需标签或原始数据共享。
• 在仅使用10%重叠样本进行监督训练的纵向联邦学习设置下，各方协作优化本地架构。
• 该框架支持与多种NAS算法集成，并实现通信高效、隐私保护的架构搜索。
• 在训练过程中对传输的梯度应用差分隐私，以进一步保护模型与数据隐私。
• 在多领域医学影像数据集（FedCheXpert、FedModelNet40）上，于不同重叠率与隐私约束条件下评估该方法。

实验结果

研究问题

• RQ1 在本地未标注数据上进行自监督预训练，能否提升纵向联邦学习中神经架构搜索的质量？
• RQ2 与标准联邦NAS相比，所提出的SS-VFNAS方法在低数据重叠率（如10%）下表现如何？
• RQ3 来自不同领域（如MRI与PET）的自监督表征在多大程度上可作为协作架构搜索的有效初始化？
• RQ4 差分隐私的集成对SS-VFNAS中的模型准确率与通信效率有何影响？
• RQ5 SS-VFNAS能否在保护数据隐私的前提下，实现优于现有联邦NAS方法的性能与可迁移性？

主要发现

• 在10%重叠样本下，SS c+c -VFNAS 1与SS c+m -VFNAS 1相比SS-VFNAS 1的性能提升幅度，显著大于在100%重叠下的提升，表明该方法对数据稀缺具有更强鲁棒性。
• 在FedCheXpert数据集上，SS c+m -VFNAS 1的平均测试准确率达到0.742（10%重叠），优于SS-VFNAS 1（0.733）与VFNAS 1（0.698）。
• 在相同差分隐私噪声方差下，SS-VFNAS的准确率显著高于VFNAS，仅在噪声方差为10时性能退化接近基线水平。
• 即使预训练数据来自不同领域（如FedCheXpert与FedModelNet40），该方法仍保持高性能，表明自监督表征具有强大的可迁移性。
• 由于减少了架构与权重参数的交换需求，通信效率得到提升，尤其在低重叠场景下更为显著。
• SS-VFNAS与差分隐私的集成相比标准VFNAS更能保持模型效用，表明其具备更优的隐私-效率权衡。