[论文解读] Understanding the Capabilities, Limitations, and Societal Impact of Large Language Models

Alex Tamkin, Miles Brundage+2 more|arXiv (Cornell University)|Feb 4, 2021

Artificial Intelligence in Healthcare and Education被引用 130

一句话总结

这篇论文总结了关于 GPT-3 和大型语言模型的工作坊，概述了技术能力、局限性和社会影响，以及未来的研究方向。

ABSTRACT

On October 14th, 2020, researchers from OpenAI, the Stanford Institute for Human-Centered Artificial Intelligence, and other universities convened to discuss open research questions surrounding GPT-3, the largest publicly-disclosed dense language model at the time. The meeting took place under Chatham House Rules. Discussants came from a variety of research backgrounds including computer science, linguistics, philosophy, political science, communications, cyber policy, and more. Broadly, the discussion centered around two main questions: 1) What are the technical capabilities and limitations of large language models? 2) What are the societal effects of widespread use of large language models? Here, we provide a detailed summary of the discussion organized by the two themes above.

研究动机与目标

• 评估大型语言模型的技术能力及其随规模扩大而显现的特性与局限性。
• 研究 LLMs 的社会影响、部署挑战以及治理方面的考量。
• 探索将模型目标与人类价值对齐、减少偏见和滥用的途径。
• 确定未来研究、合作与负责任发展 LLMs 的领域。

提出的方法

• 在 Chatham House Rules 下对关于 GPT-3 和 LLMs 的跨学科工作坊讨论进行总结。
• 融合计算机科学、语言学、哲学与政策领域的观点，覆盖能力、局限性和社会影响。
• 通过超链接引用相关工作（如 GPT-3 论文、Bender and Gebru），而非正式引用。
• 展示一组受讨论启发的潜在未来研究方向。

实验结果

研究问题

• RQ1 规模带来显著性能提升的原因是什么，如何更高效地扩展规模？
• RQ2 在实现因果推理、符号操作和鲁棒性方面，扩展规模的极限在哪里？
• RQ3 如何使 LLMs 在不确定时能够请求帮助、澄清或回避？
• RQ4 在跨模态和不同情境下将输出引导对齐于人类价值观的权衡是什么？
• RQ5 在不同情境中确保 LLMs 安全与公正需要哪些访问模型和测试？

主要发现

• 模型规模带来在 GPT-3 中观察到的涌现能力，专家指出数据与参数增长时会迅速改进。
• 多模态训练被视为越来越重要，可能加速学习，尽管对语言任务并非严格必需。
• 将模型目标与人类价值对齐具有挑战性，需要更好的算法、治理以及跨学科合作。
• 虚假信息和偏见是重要担忧；缓解需要数据治理、内容过滤、人工监督和测试的综合，且没有通用解决方案。
• 随着前沿模型日变易于复制，部署规范、访问控制以及对更广泛社会影响的关注变得迫切。