[论文解读] Private Outsourced Bayesian Optimization

Dmitrii Kharkovskii, Zhongxiang Dai+1 more|arXiv (Cornell University)|Oct 24, 2020

Gaussian Processes and Bayesian Inference被引用 9

一句话总结

本文提出了 PO-GP-UCB，这是首个在外包设置中具备可证明遗憾保证的隐私保护贝叶斯优化算法。它利用随机投影对敏感数据进行转换，同时保持输入数据之间的距离，使建模者能够在不损害隐私或性能的前提下，使用经过隐私保护的数据进行优化。

ABSTRACT

This paper presents the private-outsourced-Gaussian process-upper confidence bound (PO-GP-UCB) algorithm, which is the first algorithm for privacy-preserving Bayesian optimization (BO) in the outsourced setting with a provable performance guarantee. We consider the outsourced setting where the entity holding the dataset and the entity performing BO are represented by different parties, and the dataset cannot be released non-privately. For example, a hospital holds a dataset of sensitive medical records and outsources the BO task on this dataset to an industrial AI company. The key idea of our approach is to make the BO performance of our algorithm similar to that of non-private GP-UCB run using the original dataset, which is achieved by using a random projection-based transformation that preserves both privacy and the pairwise distances between inputs. Our main theoretical contribution is to show that a regret bound similar to that of the standard GP-UCB algorithm can be established for our PO-GP-UCB algorithm. We empirically evaluate the performance of our PO-GP-UCB algorithm with synthetic and real-world datasets.

研究动机与目标

• 解决在数据拥有者与建模者为独立主体的外包设置中，缺乏隐私保护的贝叶斯优化方法的问题。
• 确保在对隐私化数据应用时，贝叶斯优化的性能与非私有的 GP-UCB 方法保持接近。
• 在差分隐私约束下，为所提出的算法提供理论上的遗憾边界。
• 实现在医疗、金融和房地产等敏感领域中的实际部署，这些领域无法直接共享数据。
• 设计一种既能保护隐私又能保持输入数据几何结构的转换方法，以维持优化的保真度。

提出的方法

• 提出面向外包设置中隐私保护贝叶斯优化的私有外包高斯过程上置信界（PO-GP-UCB）算法。
• 应用随机投影将原始数据集转换为一种隐私化形式，同时保持输入之间的成对距离。
• 利用 Johnson-Lindenstrauss 引理，确保投影后的数据保留足够的结构，以支持有效的 GP-UCB 优化。
• 通过随机投影实现差分隐私，保护单个数据点的同时保持数据效用。
• 在温和假设下，为 PO-GP-UCB 建立理论遗憾边界，其形式与标准 GP-UCB 相似。
• 确保建模者可在不访问原始数据集或不了解数据拥有者数据完整信息的情况下，对转换后的数据执行优化。

实验结果

研究问题

• RQ1 能否为数据拥有者与建模者为独立实体的外包设置，设计一种隐私保护的贝叶斯优化算法？
• RQ2 随机投影是否能保留输入所需的几何结构，从而在差分隐私下维持 GP-UCB 的性能？
• RQ3 能否为外包设置中的差分隐私贝叶斯优化算法建立可证明的遗憾边界？
• RQ4 当应用于隐私化数据时，PO-GP-UCB 的性能与非私有的 GP-UCB 相比如何？
• RQ5 在外包贝叶斯优化中，隐私、数据效用与优化效率之间的权衡关系是什么？

主要发现

• 即使应用于随机投影后的隐私化数据，PO-GP-UCB 的遗憾边界在渐近意义上与标准 GP-UCB 算法相近。
• 基于随机投影的转换方法保留了输入之间的成对距离，确保 GP-UCB 所需的核结构大致保持不变。
• 在合成数据集和真实世界数据集上的实证评估表明，PO-GP-UCB 与非私有的 GP-UCB 相比，仍保持了具有竞争力的优化性能。
• 该算法通过设计实现差分隐私，因为随机投影作为一种隐私机制，限制了对单个数据点的推断能力。
• 理论分析表明，经过转换后，逆协方差矩阵的最小特征值保持有界，支持稳定的高斯过程推断。
• 该方法适用于医疗记录分析、贷款风险评估和房产价格优化等现实场景，这些场景对数据隐私有严格要求。