[论文解读] Where Did You Learn That From? Surprising Effectiveness of Membership Inference Attacks Against Temporally Correlated Data in Deep Reinforcement Learning.

Maziar Gomrokchi, Susan Amin+3 more|arXiv (Cornell University)|Sep 8, 2021

Adversarial Robustness in Machine Learning参考文献 43被引用 5

一句话总结

本文提出了一种针对深度强化学习（DRL）模型的成员推理攻击框架，通过利用训练数据中的时间相关性，在OpenAI Gym任务中实现了个体模式下84%的准确率和集体模式下97%的准确率。研究揭示，DRL模型的训练状态显著影响隐私泄露，对实际部署构成严重担忧。

ABSTRACT

While significant research advances have been made in the field of deep reinforcement learning, a major challenge to widespread industrial adoption of deep reinforcement learning that has recently surfaced but little explored is the potential vulnerability to privacy breaches. In particular, there have been no concrete adversarial attack strategies in literature tailored for studying the vulnerability of deep reinforcement learning algorithms to membership inference attacks. To address this gap, we propose an adversarial attack framework tailored for testing the vulnerability of deep reinforcement learning algorithms to membership inference attacks. More specifically, we design a series of experiments to investigate the impact of temporal correlation, which naturally exists in reinforcement learning training data, on the probability of information leakage. Furthermore, we study the differences in the performance of \emph{collective} and \emph{individual} membership attacks against deep reinforcement learning algorithms. Experimental results show that the proposed adversarial attack framework is surprisingly effective at inferring the data used during deep reinforcement training with an accuracy exceeding $84\%$ in individual and $97\%$ in collective mode on two different control tasks in OpenAI Gym, which raises serious privacy concerns in the deployment of models resulting from deep reinforcement learning. Moreover, we show that the learning state of a reinforcement learning algorithm significantly influences the level of the privacy breach.

研究动机与目标

• 调查深度强化学习模型对成员推理攻击的脆弱性，这是一种此前研究不足的隐私威胁。
• 分析强化学习训练数据中的时间相关性如何影响信息泄露和隐私泄露概率。
• 比较在DRL环境中个体与集体成员推理攻击策略的有效性。
• 评估DRL智能体的学习状态如何影响隐私泄露水平。
• 提供一个用于评估和缓解工业级DRL部署中隐私风险的框架。

提出的方法

• 设计一种专用于深度强化学习中成员推理的定制化对抗攻击框架。
• 利用DRL训练数据中固有的时间相关性以提高成员推理的准确性。
• 实施个体和集体成员推理攻击策略，以比较其有效性。
• 使用DRL智能体在不同训练阶段的状态表示，评估其对隐私泄露的影响。
• 在两个OpenAI Gym控制任务上评估攻击性能，以确保可复现性和泛化能力。
• 使用标准指标（如准确率）测量攻击成功率，重点关注区分训练数据成员与非成员的能力。

实验结果

研究问题

• RQ1 DRL训练数据中的时间相关性如何影响成员推理攻击的成功率？
• RQ2 在深度强化学习中，个体与集体成员推理攻击策略的相对有效性如何？
• RQ3 DRL智能体的训练状态在多大程度上影响隐私泄露风险？
• RQ4 成员推理攻击是否能在类似OpenAI Gym的真实DRL环境中实现高准确率？
• RQ5 这些发现对工业应用中DRL模型的隐私保护部署有何影响？

主要发现

• 所提出的成员推理攻击框架在两个OpenAI Gym控制任务的个体模式下实现了超过84%的准确率。
• 在集体模式下，攻击准确率达到了97%，表明在联合分析多个数据点时存在显著的隐私风险。
• DRL训练数据中的时间相关性显著提高了成员推理攻击的成功可能性。
• DRL智能体的学习状态对隐私泄露水平具有可测量且显著的影响，某些训练阶段尤为脆弱。
• 结果表明，当前的DRL模型极易受到成员推理攻击的影响，对实际部署构成严重担忧。
• 研究发现，即使在标准DRL训练流程下，训练中使用的敏感数据仍可被高度自信地推断出来，凸显了一个关键的隐私漏洞。