[论文解读] Privacy-preserving Q-Learning with Functional Noise in Continuous State Spaces

Baoxiang Wang, Nidhi Hegde|arXiv (Cornell University)|Jan 30, 2019

Privacy-Preserving Technologies in Data参考文献 40被引用 5

一句话总结

本文提出了一种用于连续状态空间的差分隐私Q-learning算法，通过在再生核希尔伯特空间（RKHS）中向价值函数近似注入函数噪声，保护奖励函数的隐私。通过确保噪声样本路径的概率界并分析迭代过程中的隐私组合，该方法在任意状态查询下均实现严格的$(\epsilon, \delta)$-差分隐私且无退化，经验验证表明其在效用方面优于现有方法。

ABSTRACT

We consider differentially private algorithms for reinforcement learning in continuous spaces, such that neighboring reward functions are indistinguishable. This protects the reward information from being exploited by methods such as inverse reinforcement learning. Existing studies that guarantee differential privacy are not extendable to infinite state spaces, as the noise level to ensure privacy will scale accordingly to infinity. Our aim is to protect the value function approximator, without regard to the number of states queried to the function. It is achieved by adding functional noise to the value function iteratively in the training. We show rigorous privacy guarantees by a series of analyses on the kernel of the noise space, the probabilistic bound of such noise samples, and the composition over the iterations. We gain insight into the utility analysis by proving the algorithm's approximate optimality when the state space is discrete. Experiments corroborate our theoretical findings and show improvement over existing approaches.

研究动机与目标

• 设计一种差分隐私强化学习算法，以保护连续状态空间中的奖励函数隐私。
• 确保即使在对未访问过的状态查询价值函数时，隐私保证依然成立。
• 将差分隐私扩展至迭代强化学习设置中的非线性函数近似器（如神经网络）。
• 提供比现有通用定理更紧致的隐私组合边界。

提出的方法

• 在再生核希尔伯特空间（RKHS）上使用高斯过程机制向价值函数近似注入函数噪声。
• 利用样本路径的概率界控制噪声函数的RKHS范数，避免对无限状态的并集界。
• 应用一种针对函数噪声机制量身定制的隐私组合分析，优于通用组合定理。
• 采用可嵌入常见神经网络架构的核函数，实现非线性价值函数近似。
• 通过噪声路径始终位于指定范数阈值内的概率的紧致边界推导隐私参数。
• 使用离散MDP环境验证方法，并与基线方法（包括私有上下文Bandit和差分隐私深度学习）进行比较。

实验结果

研究问题

• RQ1 当在任意新状态查询价值函数时，能否在连续状态空间强化学习中严格保证差分隐私？
• RQ2 如何设计函数噪声，以在保持效用的同时确保迭代Q-learning中的隐私？
• RQ3 在强化学习中，函数噪声机制的最紧致隐私组合边界是什么？
• RQ4 所提方法能否在差分隐私下保护非线性价值函数近似器（如神经网络）？
• RQ5 与现有差分隐私强化学习和Bandit算法相比，该方法的效用如何？

主要发现

• 在实验设置中，算法实现了$(\epsilon=0.9, \delta=10^{-4})$-差分隐私，且$\sigma=0.32$，以高置信度满足隐私目标。
• 对于更紧的隐私制度，实现$(\epsilon=0.45, \delta=10^{-4})$，且$\sigma=0.74$，表明其可扩展至更低的隐私预算。
• 噪声样本路径的概率界显著优于朴素的并集界，从而实现更紧致的隐私保证。
• 理论分析证明在离散状态空间中具有近似最优性，尽管缺乏完整的深度强化学习分析，但仍提供了效用洞察。
• 实验结果表明，与基线方法相比性能更优，包括私有上下文Bandit和差分隐私深度学习方法。
• 该方法在任意状态查询下均保持隐私，克服了先前方法在新状态访问时失效的关键局限。