[论文解读] Secure and Trustworthy Computing 2.0 Vision Statement

Patrick McDaniel, Farinaz Koushanfar|arXiv (Cornell University)|Aug 1, 2023

Information and Cyber SecurityComputer Science被引用 3

一句话总结

本文提出了安全可信计算2.0（SaTC 2.0）愿景，制定了一项全面的跨学科研究议程，以应对人工智能生成内容、合成媒体以及数字系统信任方面的新兴威胁。该研究综合了全国研讨会的见解，为未来研究提供指导，强调构建稳健系统、可信人工智能以及社会韧性。

ABSTRACT

The Secure and Trustworthy Computing (SaTC) program within the National Science Foundation (NSF) program serves as the primary instrument for creating novel fundamental science in security and privacy in the United States with broad impacts that influence the world. The program funds research in a vast array of research topics that span technology, theory, policy, law, and society. In the Spring of 2023, the program managers of SaTC requested that the community prepare a vision for the next ten years of research. This document represents the results of that effort which involved collecting input from numerous members of the security and privacy community, industry, academics, and government. Assembled from that input, this document offers a comprehensive view of general themes and specific areas of focus for future research as envisioned by the community.

研究动机与目标

• 为应对人工智能和合成内容带来的持续演变威胁，定义面向未来的可信计算研究愿景。
• 识别在信息物理系统与数字生态系统中，系统、人工智能、隐私及社会影响方面的关键研究空白与新兴挑战。
• 通过整合来自学术界、产业界和政府的广泛专家研讨会意见，指导国家研究投资。
• 推动系统、人工智能、密码学、人因工程与政策等领域的跨学科协作，以确保数字基础设施的长期可信性。
• 建立可持续、有韧性且基于伦理的网络安全研究基础，与社会需求保持一致。

提出的方法

• 举办全国性研讨会，汇聚200余名来自学术界、产业界和政府的专家，识别新兴主题与研究优先事项。
• 将研究划分为若干主题领域：系统安全、网络安全、人工智能安全、应用、密码学、隐私以及人因与社会因素。
• 梳理当前研究趋势，识别硬件、软件、人工智能与信任框架中的关键缺口。
• 在技术研究规划中整合伦理、经济与社会维度，以确保负责任的创新。
• 提出一项结构化研究议程，涵盖8大核心领域中的38个子领域，包括形式化方法、鲁棒机器学习与数字信任。
• 采用以愿景为导向、社区参与的模式，指导美国国家科学基金会未来的资助与研究方向。

实验结果

研究问题

• RQ1 在生成式人工智能时代，如何重新设计硬件与系统，以原生支持安全与隐私设计？
• RQ2 需要哪些技术和社会防护措施，以检测、预防并减轻难以区分的合成媒体的影响？
• RQ3 在对抗性条件与分布偏移下，如何使人工智能系统具备鲁棒性、可解释性与可信性？
• RQ4 供应链与数字基础设施中的系统性风险是什么？如何通过形式化验证与政策加以缓解？
• RQ5 隐私保护技术（如安全多方计算与差分隐私）如何实现规模化并集成到现实系统中？

主要发现

• SaTC 2.0愿景在8大核心领域中识别出38个独立的研究子领域，为未来研究提供了结构化路线图。
• 亟需重新构想系统安全，重点关注策略强制、存储完整性与硬件级信任。
• 生成式人工智能对真实性与信任构成前所未有的挑战，亟需开发新型检测、溯源与验证技术。
• 鲁棒机器学习与可信人工智能需要在形式化验证、对抗性训练与基于逻辑的推理方面取得进展。
• 隐私研究必须超越技术控制，扩展至数据使用与暴露的社会、经济与伦理维度。
• 网络安全教育、伦理与主动安全被认定为构建有韧性与可信数字生态系统的基石。