[论文解读] On the Challenges and Opportunities in Generative AI

Laura Manduchi, Meister, Clara+24 more|arXiv (Cornell University)|Feb 28, 2024

AI-based Problem Solving and Planning被引用 14

一句话总结

该论文综述深度生成模型在范围、效率、评估和伦理方面尚未解决的挑战，并勾画研究方向。

ABSTRACT

The field of deep generative modeling has grown rapidly in the last few years. With the availability of massive amounts of training data coupled with advances in scalable unsupervised learning paradigms, recent large-scale generative models show tremendous promise in synthesizing high-resolution images and text, as well as structured data such as videos and molecules. However, we argue that current large-scale generative AI models exhibit several fundamental shortcomings that hinder their widespread adoption across domains. In this work, our objective is to identify these issues and highlight key unresolved challenges in modern generative AI paradigms that should be addressed to further enhance their capabilities, versatility, and reliability. By identifying these challenges, we aim to provide researchers with insights for exploring fruitful research directions, thus fostering the development of more robust and accessible generative AI solutions.

研究动机与目标

• 识别阻碍深度生成模型（DGMs）广泛应用的关键未解决挑战。
• 提出拓展范围、提高效率、并解决伦理与社会关切的方向。
• 综合来自多个社区的观点，以引导稳健、可及的生成性人工智能。
• 突出研究优先级，以提升跨领域的鲁棒性、透明度与可用性。

提出的方法

• 综合来自 Dagstuhl Seminar on Challenges and Perspectives in Deep Generative Modeling 的观点。
• 分析在泛化、透明度、因果表示和异质数据处理（第2节）中的挑战。
• 讨论效率与资源利用，包括训练/推理成本及体系结构考量（第3节）。
• 审视评估指标与模型选择考虑（第3.2节）。
• 涉及伦理部署、隐私、公平、可解释性与不确定性（第4节）。

实验结果

研究问题

• RQ1 推动 DGMs 超越排行榜绩效、扩大范围与适应性的关键挑战是什么？
• RQ2 DGMs 如何在训练与推理中变得更高效、可访问且可持续？
• RQ3 在大规模生成模型负责任部署中，哪些伦理、社会和治理方面的考量至关重要？
• RQ4 因果表示与异质数据基础如何影响 DGMs 的鲁棒性和实用性？

主要发现

• 泛化与鲁棒性仍然具有挑战性，尤其是分布外变化和罕见事件，存在捷径学习和偏差的风险。
• 当前 DGMs 中的隐含假设需要审查，先验或领域知识在数据稀缺领域可以提高数据效率。
• 因果表示与领域知识的整合为鲁棒性、可解释性和更公平的模型提供路径。
• 异质数据类型的基础模型在互操作性、隐私、安全性以及领域知识整合方面面临挑战。
• 效率需要基于原理的体系结构研究、量化策略，以及扩散与自回归模型的更快采样/推理。
• DGMs 的评估指标并不完善，需在质量、多样性、校准、鲁棒性与任务特定需求之间取得平衡，同时关注现实世界的适用性。