[论文解读] Stealing Deep Reinforcement Learning Models for Fun and Profit

Kangjie Chen, Shangwei Guo+3 more|arXiv (Cornell University)|Jun 9, 2020

Adversarial Robustness in Machine Learning参考文献 53被引用 4

一句话总结

本文提出了首个针对深度强化学习（DRL）模型的模型提取攻击，使攻击者仅通过动作查询即可高保真地恢复黑盒DRL策略。通过利用模仿学习和一种基于动作时序序列训练的新颖算法分类器，该攻击实现了精确的模型重建，并绕过了水印和查询速率检测等防御机制。

ABSTRACT

This paper presents the first model extraction attack against Deep Reinforcement Learning (DRL), which enables an external adversary to precisely recover a black-box DRL model only from its interaction with the environment. Model extraction attacks against supervised Deep Learning models have been widely studied. However, those techniques cannot be applied to the reinforcement learning scenario due to DRL models' high complexity, stochasticity and limited observable information. We propose a novel methodology to overcome the above challenges. The key insight of our approach is that the process of DRL model extraction is equivalent to imitation learning, a well-established solution to learn sequential decision-making policies. Based on this observation, our methodology first builds a classifier to reveal the training algorithm family of the targeted black-box DRL model only based on its predicted actions, and then leverages state-of-the-art imitation learning techniques to replicate the model from the identified algorithm family. Experimental results indicate that our methodology can effectively recover the DRL models with high fidelity and accuracy. We also demonstrate two use cases to show that our model extraction attack can (1) significantly improve the success rate of adversarial attacks, and (2) steal DRL models stealthily even they are protected by DNN watermarks. These pose a severe threat to the intellectual property and privacy protection of DRL applications.

研究动机与目标

• 探究是否可以通过仅使用动作查询的黑盒访问从专有DRL模型中提取模型。
• 解决DRL模型提取过程中存在的高复杂度、随机性和可观测性有限等挑战。
• 开发一种无需访问置信度分数、梯度或侧信道数据即可实现高保真模型恢复的方法。
• 通过增强对抗性攻击并绕过数字水印等现有知识产权保护机制，展示此类攻击的实际影响。

提出的方法

• 将DRL模型提取形式化为模仿学习问题，目标是模仿黑盒DRL策略的行为。
• 设计一种基于循环神经网络（RNN）的分类器，仅使用其动作序列即可预测目标DRL模型的训练算法族。
• 将预测的算法族作为先验知识，用于指导模仿学习，从而提升提取模型的保真度和收敛性。
• 应用最先进的模仿学习技术（如生成对抗模仿学习，GAIL），从专家演示中训练代理策略。
• 在仿真环境中收集目标DRL模型的动作序列，用于训练算法分类器并生成模仿学习的专家轨迹。
• 将算法分类器与模仿学习流程集成，实现端到端的模型提取，且查询开销极低。

实验结果

研究问题

• RQ1 是否可以仅使用动作输出而无需访问置信度分数、梯度或侧信道信息，从黑盒DRL模型中提取模型？
• RQ2 如何利用DRL策略中固有的随机性和时序依赖性来推断其底层的训练算法族？
• RQ3 对训练算法族的先验知识在多大程度上能提升模型提取的保真度和准确性？
• RQ4 提取的模型是否可用于增强对抗性攻击，或绕过现有的IP保护机制（如数字水印）？

主要发现

• 所提出的方法即使在目标模型使用复杂深度架构的情况下，也能以高保真度和高精度成功恢复DRL模型。
• 算法分类器仅使用动作序列即可实现高准确率的训练算法族预测，从而有效支持基于先验知识的模仿学习。
• 提取的模型可显著提升对抗性攻击的成功率，表明模型提取具有实际威胁性。
• 该攻击成功绕过了数字水印机制，因为提取的模型未保留原始水印。
• 该攻击在正常查询模式下依然有效，可规避基于查询速率分析的检测机制。