[论文解读] Security and Machine Learning in the Real World

Ivan Evtimov, Weidong Cui+4 more|arXiv (Cornell University)|Jul 13, 2020

Adversarial Robustness in Machine Learning参考文献 33被引用 8

一句话总结

本文主张，对抗性机器学习安全必须从孤立的模型防御转向系统安全视角，提出输入验证、多模型验证和鲁棒输入模态等实用缓解措施。它呼吁建立标准化的故障数据库，并改革针对机器学习系统的安全实践，推动超越理论攻击的现实世界鲁棒性。

ABSTRACT

Machine learning (ML) models deployed in many safety- and business-critical systems are vulnerable to exploitation through adversarial examples. A large body of academic research has thoroughly explored the causes of these blind spots, developed sophisticated algorithms for finding them, and proposed a few promising defenses. A vast majority of these works, however, study standalone neural network models. In this work, we build on our experience evaluating the security of a machine learning software product deployed on a large scale to broaden the conversation to include a systems security view of these vulnerabilities. We describe novel challenges to implementing systems security best practices in software with ML components. In addition, we propose a list of short-term mitigation suggestions that practitioners deploying machine learning modules can use to secure their systems. Finally, we outline directions for new research into machine learning attacks and defenses that can serve to advance the state of ML systems security.

研究动机与目标

• 解决理论对抗性机器学习研究与实际部署机器学习应用中系统安全之间的差距。
• 识别将传统系统安全实践应用于现代机器学习流水线时的不足之处。
• 为生产环境中保护机器学习组件的从业者提出可操作的短期缓解措施。
• 倡导与现实世界威胁模型和系统级最佳实践对齐的新研究方向。
• 建立公开的、标准化的对抗性故障案例数据库，以减少模型开发中的未知未知因素。

提出的方法

• 将对抗性机器学习重新定义为系统安全问题，强调端到端系统行为而非孤立模型的鲁棒性。
• 分析真实世界部署，识别在机器学习系统中应用输入验证和补丁等标准安全实践时的实际挑战。
• 提出多模型集成作为纵深防御机制，以检测并拒绝对抗性输入。
• 引入鲁棒输入模态，提高生成有效对抗样本的成本。
• 倡导建立标准化、公开可访问的故障案例数据库，以提升模型可靠性并减少未知漏洞。
• 推荐安全的更新机制，在修补漏洞的同时保持模型功能和输出分布不变。

实验结果

研究问题

• RQ1 现实世界的攻击者与大多数对抗性机器学习研究中假设的理想化攻击者有何不同？
• RQ2 为何尽管算法防御在理论上表现强劲，但在实践中仍无法提升安全性？
• RQ3 哪些系统安全原则可被适配以保护包含复杂数据驱动组件的机器学习流水线？
• RQ4 在模型输入为高维且语义丰富的系统中，如何有效应用输入验证和补丁机制？
• RQ5 公开的、标准化的对抗性故障案例数据库在提升机器学习系统鲁棒性方面发挥什么作用？

主要发现

• 大多数现实世界的攻击者无法对输入进行微小、有针对性的扰动，导致许多标准对抗性防御在实践中无效。
• 由于模型输入的复杂性和统计特性，常见的系统安全实践（如输入验证和补丁）在机器学习系统中难以实施。
• 多模型验证通过要求攻击者同时欺骗多个独立训练的模型，显著提高了成功攻击的成本。
• 鲁棒输入模态（如结构化或受限输入）可使生成对抗样本在本质上更加昂贵。
• 公开的、标准化的故障案例数据库将减少模型开发中的未知未知因素，促进更好的泛化能力并加快漏洞缓解。
• 当前的模型更新实践常常破坏模型行为或输出分布，因此亟需新的更新机制，在修补漏洞的同时保持功能完整性。