[论文解读] One Small Step for Generative AI, One Giant Leap for AGI: A Complete Survey on ChatGPT in AIGC Era

Chaoning Zhang, Chenshuang Zhang+14 more|arXiv (Cornell University)|Apr 4, 2023

Artificial Intelligence in Healthcare and Education被引用 89

一句话总结

对AIGC时代的ChatGPT的全面综述，涵盖OpenAI、GPT历史、核心技术、应用、挑战及未来走向AGI。

ABSTRACT

OpenAI has recently released GPT-4 (a.k.a. ChatGPT plus), which is demonstrated to be one small step for generative AI (GAI), but one giant leap for artificial general intelligence (AGI). Since its official release in November 2022, ChatGPT has quickly attracted numerous users with extensive media coverage. Such unprecedented attention has also motivated numerous researchers to investigate ChatGPT from various aspects. According to Google scholar, there are more than 500 articles with ChatGPT in their titles or mentioning it in their abstracts. Considering this, a review is urgently needed, and our work fills this gap. Overall, this work is the first to survey ChatGPT with a comprehensive review of its underlying technology, applications, and challenges. Moreover, we present an outlook on how ChatGPT might evolve to realize general-purpose AIGC (a.k.a. AI-generated content), which will be a significant milestone for the development of AGI.

研究动机与目标

• 介绍OpenAI及ChatGPT在AGI/AIGC格局中的背景。
• 总结支撑ChatGPT的技术和核心方法（Transformer、自回归建模）。
• 回顾ChatGPT在科学写作、教育、医学等领域的应用。
• 识别挑战，包括技术局限、滥用、伦理与监管。
• 讨论面向通用AIGC和AGI的未来方向。

提出的方法

• 综合并整理直至GPT-4的关于ChatGPT的现有文献。
• 解释Transformer骨干与带有正式定义的自回归建模。
• 追踪GPT模型谱系（GPT-1到GPT-4）及关键训练/数据细节。
• 按领域对应用进行分类（科学写作、教育、医学等）。
• 强调挑战与监管/伦理考量并提供面向AGI的展望。

实验结果

研究问题

• RQ1 推动ChatGPT的基础技术与训练范式是什么（Transformer、自回归建模）？
• RQ2 ChatGPT从GPT-1到GPT-4如何演进，其能力和局限性是什么？
• RQ3 ChatGPT在科学写作、教育、医疗等领域的主要应用是什么？
• RQ4 在部署ChatGPT时存在哪些挑战、滥用风险、伦理问题和监管问题？
• RQ5 面向通用目的的AIGC和AGI，ChatGPT的愿景轨迹是什么？

主要发现

• 基于GPT-4的ChatGPT支持多模态输入（文本与图像），并在专业任务上表现出色，在若干标准上具备人类水平的能力。
• GPT模型从GPT-1到GPT-4的进展在参数、数据和能力方面实现了显著提升，包括零-shot/少样本性能的提升，以及GPT-3.5的RLHF。
• Transformer与自回归建模支撑当代LLMs；ChatGPT利用自注意力和解码器唯一结构实现流畅、具上下文相关的生成。
• 应用覆盖科学写作、数据分析、文献综述、内容生成、校对以及学术同行评审等角色，效果与注意事项各有差异。
• 挑战包括技术局限、潜在滥用、伦理关切与监管考虑，这些影响部署与治理。
• 该综述勾勒面向通用目的AIGC的展望，以及实现超越ChatGPT当前能力的AGI的更广泛目标。