[论文解读] The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation

Miles Brundage, Shahar Avin+24 more|arXiv (Cornell University)|Feb 20, 2018

Network Security and Intrusion Detection被引用 489

一句话总结

本报告评估来自AI恶意使用的潜在安全威胁，并提出预测、预防和缓解策略，以及未来研究领域。

ABSTRACT

This report surveys the landscape of potential security threats from malicious uses of AI, and proposes ways to better forecast, prevent, and mitigate these threats. After analyzing the ways in which AI may influence the threat landscape in the digital, physical, and political domains, we make four high-level recommendations for AI researchers and other stakeholders. We also suggest several promising areas for further research that could expand the portfolio of defenses, or make attacks less effective or harder to execute. Finally, we discuss, but do not conclusively resolve, the long-term equilibrium of attackers and defenders.

研究动机与目标

• 评估AI如何影响数字、物理和政治领域的威胁。
• 制定对恶意AI能力和攻击者模型的预测。
• 为研究人员和相关方提出防止和减轻危害的实际建议。
• 确定有前景的研究方向，以扩大防御并阻止攻击。

提出的方法

• 调查数字、物理和政治领域现有及潜在的威胁形势。
• 预测威胁轨迹以及攻击者与防守者的动态。
• 为研究人员和相关方提出降低风险的高层次行动建议。
• 讨论攻击者与防守者之间的长期平衡，尚无定论的解决方案。

实验结果

研究问题

• RQ1 AI如何在数字、物理和政治环境中影响安全威胁？
• RQ2 哪些基于预测的和主动的措施可以提高对恶意AI使用的预防和缓解？
• RQ3 哪些建议可以加强防御并降低攻击者的效力？
• RQ4 哪些研究议程可以扩大针对AI驱动威胁的防御能力？

主要发现

• 本文概述了跨越多个领域的潜在AI驱动威胁格局。
• 它提出以预测、预防和缓解作为应对恶意AI使用的核心策略。
• 本报告为研究人员及其他相关方提供了高层次的建议。
• 它提出若干未来研究领域以扩展防御或降低攻击效果。
• 对长期的攻击者与防守者动态进行了讨论，但尚未得出明确结论。