[论文解读] Statistical Model Aggregation via Parameter Matching

Mikhail Yurochkin, Mayank Agarwal+3 more|arXiv (Cornell University)|Nov 1, 2019

Gaussian Processes and Bayesian Inference被引用 11

一句话总结

本文提出了一种模型无关的框架，利用贝叶斯非参数方法聚合在私有、隔离数据上训练的异构本地模型。通过使用Beta-伯努利过程将本地参数建模为全局潜在结构的噪声实现，该方法实现了可扩展的、保护隐私的模型融合，涵盖高斯过程、主题模型和HDP-HMM等模型，其性能与全数据推理相当，但计算时间显著减少。

ABSTRACT

We consider the problem of aggregating models learned from sequestered, possibly heterogeneous datasets. Exploiting tools from Bayesian nonparametrics, we develop a general meta-modeling framework that learns shared global latent structures by identifying correspondences among local model parameterizations. Our proposed framework is model-independent and is applicable to a wide range of model types. After verifying our approach on simulated data, we demonstrate its utility in aggregating Gaussian topic models, hierarchical Dirichlet process based hidden Markov models, and sparse Gaussian processes with applications spanning text summarization, motion capture analysis, and temperature forecasting.

研究动机与目标

• 解决在不共享原始数据的前提下，融合在去中心化、私有且异构数据集上训练的模型的挑战。
• 开发一种可扩展且灵活的元建模框架，通过共享的全局潜在结构统一多种模型类型。
• 通过将本地模型参数视为全局参数的噪声实现，实现高效且保护隐私的模型融合。
• 支持跨不同学习算法和模型复杂度的模型聚合，包括状态或组件数量不同的情况。
• 在文本摘要、动作捕捉分析和温度预测等实际应用中展示其有效性。

提出的方法

• 该框架使用Beta-伯努利过程（BBP）对全局潜在参数的生成过程进行建模，允许存在无限多个潜在的全局组件。
• 将本地模型参数视为这些全局参数的噪声观测，通过BBP后验分布决定参数匹配或创建新的全局组件。
• 基于匈牙利算法的MAP推理过程高效求解参数匹配问题，实现可扩展的模型融合。
• 该方法具有模型无关性：仅需指定本地模型参数的基测度，即可在多种模型类别中复用。
• 该框架支持本地模型的并行训练，随后进行集中式融合，避免数据移动并保护隐私。
• 即使仅能获得预训练模型而无原始训练数据，该方法依然适用。

实验结果

研究问题

• RQ1 能否开发一种统一的、模型无关的框架，用于聚合在私有、隔离数据集上训练的异构模型？
• RQ2 如何从具有不同复杂度和参数化方式的本地模型中发现共享的全局潜在结构？
• RQ3 通过Beta-伯努利过程进行参数匹配，在显著降低计算成本的同时，能在多大程度上实现与全数据推理相当的性能？
• RQ4 该框架能否在复杂场景（如包含共享和独特动作的运动捕捉序列）中有效匹配本地模型中的状态？
• RQ5 与k-means聚类或联合全模型训练等替代方法相比，该方法在准确性和效率方面表现如何？

主要发现

• 在CMU MoCap数据集上，SPAHM的归一化汉明距离达到0.917，调整兰德指数达到0.892，优于k-means和本地模型，且计算时间不足全HDP-HMM训练的一半。
• 对于高斯主题模型，SPAHM成功从100个在独立文档集合上训练的本地模型中恢复出连贯的全局主题，匹配准确率与全数据推理相当。
• 在温度预测任务中，SPAHM将100个本地稀疏高斯过程融合为一个全局预测模型，其均方误差仅比全数据模型高0.03。
• 该框架在动作捕捉数据中正确识别出跨受试者的共享活动（如“旋转”、“脚尖触碰”），并对独特活动创建了单例状态，表现出对本地模型过度分割的鲁棒性。
• SPAHM将全HDP-HMM推理的墙钟时间减少了50%以上，同时通过人工标注的真值验证，保持了高质量的分割结果。
• 该方法通过仅调整基测度即可成功融合来自不同类型的模型——高斯过程、HDP-HMM、混合模型和主题模型——使用相同的底层算法，展现出良好的可扩展性和灵活性。