[论文解读] Trustworthy, Responsible, and Safe AI: A Comprehensive Architectural Framework for AI Safety with Challenges and Mitigations

Chen Chen, Gong, Xueluan+4 more|arXiv (Cornell University)|Aug 23, 2024

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出一个围绕 AI 安全的三支柱架构框架——可信 AI、负责任 AI 与安全 AI——并回顾各生态系统中对 LLM/GAI 安全的挑战与缓解措施。

ABSTRACT

AI Safety is an emerging area of critical importance to the safe adoption and deployment of AI systems. With the rapid proliferation of AI and especially with the recent advancement of Generative AI (or GAI), the technology ecosystem behind the design, development, adoption, and deployment of AI systems has drastically changed, broadening the scope of AI Safety to address impacts on public safety and national security. In this paper, we propose a novel architectural framework for understanding and analyzing AI Safety; defining its characteristics from three perspectives: Trustworthy AI, Responsible AI, and Safe AI. We provide an extensive review of current research and advancements in AI safety from these perspectives, highlighting their key challenges and mitigation approaches. Through examples from state-of-the-art technologies, particularly Large Language Models (LLMs), we present innovative mechanism, methodologies, and techniques for designing and testing AI safety. Our goal is to promote advancement in AI safety research, and ultimately enhance people's trust in digital transformation.

研究动机与目标

• 在三大支柱：可信 AI、负责任 AI 与安全 AI 的基础上，定义一个 AI 安全的架构框架。
• 分析影响当前 AI 系统和生态系统中每个支柱的挑战与脆弱性。
• 评审涵盖技术、伦理与治理维度的缓解策略。
• 讨论确保受信任的 AI 供应链与社会安全的生命周期、治理与测试方法。
• 用最先进 AI 技术，特别是 LLMs 与 Generative AI 的示例来阐明概念。

提出的方法

• 提出围绕三大支柱的 AI 安全连贯架构框架。
• 提供与每个支柱相关的当前研究与发展的大量文献综述。
• 概述输入鲁棒性、对抗攻击、多模态与系统层级风险等方面的挑战与脆弱性。
• 讨论将技术、伦理与治理措施结合起来的缓解策略。
• 使用来自 LLMs 的示例来说明 AI 安全的机制、方法与测试方法。

Figure 1. Three pillars of AI Safety, i.e., Trustworthy AI, Responsible AI and Safe AI.

实验结果

研究问题

• RQ1 威胁可信 AI、负责任 AI 和安全 AI 的关键挑战与脆弱性有哪些？
• RQ2 在技术、伦理与治理维度上存在哪些缓解策略以提升 AI 安全？
• RQ3 前沿 AI 生态系统（如 LLMs/GAI）如何在组织与生态系统层面影响信任、责任与安全？
• RQ4 如何测试、评估和治理 AI 模型与系统，以维持受信任的 AI 供应链？

主要发现

• 提出一个新颖的三支柱 AI 安全架构框架。
• 回顾跨技术、伦理与生态系统层面的广泛挑战与脆弱性。
• 讨论跨技术防护、治理与伦理的缓解策略。
• 强调 LLMs 和 Generative AI 在塑造安全考量与机制中的作用。
• 主张全面、面向生态系统的安全实践，以在数字化转型中建立公众信任。

Figure 2. Relations between AI foundation model and AI systems.