[论文解读] Security and Privacy for Artificial Intelligence: Opportunities and Challenges

Ayodeji Oseni, Nour Moustafa+4 more|arXiv (Cornell University)|Feb 9, 2021

Adversarial Robustness in Machine Learning被引用 44

一句话总结

本文综述对抗性AI威胁、攻击与防御，并提出一个整体框架来分析和降低AI系统中的安全与隐私风险，包括强化学习与联邦学习。

ABSTRACT

The increased adoption of Artificial Intelligence (AI) presents an opportunity to solve many socio-economic and environmental challenges; however, this cannot happen without securing AI-enabled technologies. In recent years, most AI models are vulnerable to advanced and sophisticated hacking techniques. This challenge has motivated concerted research efforts into adversarial AI, with the aim of developing robust machine and deep learning models that are resilient to different types of adversarial scenarios. In this paper, we present a holistic cyber security review that demonstrates adversarial attacks against AI applications, including aspects such as adversarial knowledge and capabilities, as well as existing methods for generating adversarial examples and existing cyber defence models. We explain mathematical AI models, especially new variants of reinforcement and federated learning, to demonstrate how attack vectors would exploit vulnerabilities of AI models. We also propose a systematic framework for demonstrating attack techniques against AI applications and reviewed several cyber defences that would protect AI applications against those attacks. We also highlight the importance of understanding the adversarial goals and their capabilities, especially the recent attacks against industry applications, to develop adaptive defences that assess to secure AI applications. Finally, we describe the main challenges and future research directions in the domain of security and privacy of AI technologies.

研究动机与目标

• 识别并综合2018–2020年关于AI系统安全与隐私威胁的现有文献。
• 概述机器学习任务类别（包括深度学习和联邦学习）及其安全影响。
• 引入对抗性攻击框架，以展示对AI应用的高级攻击技术。
• 提出保护AI模型免受对抗性攻击的防御框架。
• 强调挑战并概述AI安全与隐私的未来研究方向。

提出的方法

• 对最近关于AI安全/隐私的调查与综述进行系统评述，以识别局限性与空白。
• 对机器学习任务（有监督、无监督、半监督、强化学习）进行分类，并讨论深度学习与联邦学习。
• 开发一个全面的对抗性攻击框架，用于对AI模型攻击进行定量分析（图2）。
• 汇编并分析训练阶段与测试阶段的攻击综述（表2和表3），以映射攻击类型、目标和知识假设。
• 综合防御方法并讨论与对抗能力相匹配的自适应防御。
• 基于综述讨论经验教训与未来的研究方向。

实验结果

研究问题

• RQ1 在训练和测试阶段影响AI系统的主要对抗性威胁模型有哪些？
• RQ2 包括强化学习和联邦学习在内的不同AI范式如何影响攻击面与防御策略？
• RQ3 哪些框架最好地捕捉AI模型对抗性攻击与防御的分类体系？
• RQ4 在工业和社会中保障AI系统安全面临的关键挑战与未来方向是什么？

主要发现

• 本文在各种ML/DL任务中识别了广泛的对抗性攻击（数据污染、规避攻击、后门等），并提供攻击者目标与知识的整合视图。
• 它引入了一个全面的攻击分析框架，用于量化和比较对AI模型的对抗性威胁。
• 它评估并对比了大量防御技术，强调需要对进化中的对抗能力做出反应的自适应防御。
• 该工作强调AI领域安全/隐私研究的增长，指出先前综述中的空白与局限，并提供更整合的视角。
• 联邦学习被讨论为一种具有隐私意识的范式，由于数据分布和模型更新而具有独特的安全考虑。