[论文解读] Towards Federated Bayesian Network Structure Learning with Continuous Optimization

Ignavier Ng, Kun Zhang|arXiv (Cornell University)|Oct 18, 2021

Bayesian Modeling and Causal Inference参考文献 64被引用 8

一句话总结

该论文提出了一种基于ADMM的连续优化联邦贝叶斯网络结构学习方法，通过仅交换模型参数实现水平划分数据下的隐私保护协作。该方法在仅交换模型参数的前提下，在合成数据和真实数据集的线性与非线性情况下均优于基线方法，尤其在多客户端小样本设置下表现卓越。

ABSTRACT

Traditionally, Bayesian network structure learning is often carried out at a central site, in which all data is gathered. However, in practice, data may be distributed across different parties (e.g., companies, devices) who intend to collectively learn a Bayesian network, but are not willing to disclose information related to their data owing to privacy or security concerns. In this work, we present a federated learning approach to estimate the structure of Bayesian network from data that is horizontally partitioned across different parties. We develop a distributed structure learning method based on continuous optimization, using the alternating direction method of multipliers (ADMM), such that only the model parameters have to be exchanged during the optimization process. We demonstrate the flexibility of our approach by adopting it for both linear and nonlinear cases. Experimental results on synthetic and real datasets show that it achieves an improved performance over the other methods, especially when there is a relatively large number of clients and each has a limited sample size.

研究动机与目标

• 解决在多个客户端之间基于水平划分数据学习贝叶斯网络结构的同时保护数据隐私的挑战。
• 通过连续优化实现联邦学习在贝叶斯网络结构学习中的应用，克服离散优化方法的局限性。
• 开发一种灵活且隐私保护的框架，适用于线性和非线性贝叶斯网络。
• 展示在客户端个体样本量有限的情况下，性能优于现有方法。

提出的方法

• 使用交替方向乘子法（ADMM）将优化过程分布在客户端之间，确保仅交换模型参数。
• 基于无环性的代数表征，采用连续优化技术，实现可微分且可扩展的结构学习。
• 将NOTEARS框架（Zheng et al., 2018, 2020）适配至联邦设置，支持线性高斯模型和非线性（基于MLP）模型。
• 实施基于共识的优化策略，客户端通过共享的对偶变量和参数迭代更新本地模型并实现同步。
• 通过设计模块化、可扩展的优化流水线，支持水平划分，并具备未来支持垂直划分的潜力。
• 通过避免原始数据交换，仅依赖模型参数更新，实现隐私保护的通信机制。

实验结果

研究问题

• RQ1 能否有效将用于贝叶斯网络结构学习的连续优化方法适配至具有隐私约束的联邦设置？
• RQ2 在客户端数据有限的情况下，通过ADMM实现的联邦BNSL性能与集中式及非联邦基线方法相比如何？
• RQ3 当扩展至大量客户端且每个客户端数据量较小时，所提方法在稳定性和准确性方面表现如何？
• RQ4 该方法能否在使用神经网络的非线性贝叶斯网络中保持隐私和收敛性？
• RQ5 在联邦BNSL中共享模型参数的隐私影响是什么，如何加以缓解？

主要发现

• 所提出的基于ADMM的联邦BNSL方法在结构汉明距离（SHD）方面优于基线方法，尤其在客户端数量多且单个客户端样本量小的设置下表现突出。
• 在线性情况下，该方法在所有客户端配置下均达到接近集中式基线（NOTEARS-AllData）的SHD值，表现出优异的性能稳定性。
• 对于基于MLP的非线性模型，NOTEARS-MLP-ADMM在所有客户端配置下（包括16个客户端）的SHD结果均持续接近集中式解，优于其他基线方法。
• 该方法在不同客户端数量（K ∈ {2,4,8,16}）下均保持稳定性能，表明对客户端扩展具有鲁棒性。
• 在低数据场景下，该方法表现出更好的泛化能力，此时单个客户端无法独立学习到有意义的结构。
• 结果验证了连续优化与参数交换在联邦BNSL中的重要性，相较于启发式聚合本地模型，该方法更具优势。