[论文解读] Position: Key Claims in LLM Research Have a Long Tail of Footnotes

Anna Rogers, Alexandra Sasha Luccioni|arXiv (Cornell University)|Aug 14, 2023

Natural Language Processing Techniques被引用 6

一句话总结

本文基于文本生成能力、大规模预训练（≥10亿个标记）以及迁移学习适应性，提出了一个精确的、包含三项标准的大型语言模型（LLM）定义。通过实证证据与社会技术分析，本文批判性地评估了关于LLM的常见说法——鲁棒性、最先进性能、规模驱动的成功以及涌现能力——揭示了当前论述中普遍缺乏严谨依据，并呼吁未来自然语言处理（NLP）研究采用更严谨的方法论。

ABSTRACT

Much of the recent discourse within the ML community has been centered around Large Language Models (LLMs), their functionality and potential -- yet not only do we not have a working definition of LLMs, but much of this discourse relies on claims and assumptions that are worth re-examining. We contribute a definition of LLMs, critically examine five common claims regarding their properties (including 'emergent properties'), and conclude with suggestions for future research directions and their framing.

研究动机与目标

• 解决自然语言处理（NLP）研究与实践中对大型语言模型（LLMs）缺乏清晰、可操作定义的问题。
• 批判性地审视关于LLM功能的广泛假设，包括鲁棒性、性能优越性、规模依赖性以及涌现能力。
• 识别支持LLM关键主张的实证证据中的缺口，并揭示当前论述中的一致性问题。
• 通过基于证据和理论的方法，倡导未来NLP研究在方法论上更加严谨并注重多样性。
• 提出一个评估LLM的框架，强调定义清晰性与实证验证。

提出的方法

• 提出LLM的三部分定义：（1）上下文感知的文本生成，（2）在≥10亿个标记的数据上进行预训练，以及（3）通过迁移学习实现适应性。
• 利用现有实证研究与社会技术批判，评估关于LLM的主张，依据基准测试、模型行为及部署环境展开分析。
• 通过分析不同架构（如BERT、GPT、word2vec）的模型行为，基于所提标准区分LLM与早期模型。
• 通过回顾SuperGLUE、少样本学习、思维链提示以及多语言迁移任务的结果，评估关于规模、鲁棒性与涌现能力的主张。
• 将LLM与“基础模型”等类似概念进行比较，并讨论缺乏正式定义的术语的局限性。
• 将该框架应用于多模态模型（如GPT-4）与蒸馏模型（如tinyBERT），展示其在所提标准下的合格性。

实验结果

研究问题

• RQ1 哪些标准是将一个模型归类为大型语言模型的必要且充分条件？
• RQ2 关于LLM的鲁棒性、性能、规模依赖性及涌现能力的主张，在多大程度上得到了实证证据的支持？
• RQ3 在所提出的LLM定义下，BERT与GPT-3与word2vec等早期模型相比如何？
• RQ4 术语如‘基础模型’的模糊性对NLP研究的科学严谨性有何影响？
• RQ5 未来NLP研究应如何构建，以确保方法论严谨性并减少对未经验证假设的依赖？

主要发现

• BERT与GPT-3符合所提定义下的LLM标准，因其具备上下文感知的生成能力、大规模预训练（>10亿个标记）以及迁移学习的适应性。
• word2vec与GloVe等模型不符合LLM标准，因其在推理阶段缺乏上下文感知的生成能力，尽管其预训练规模较大。
• LLM具有内在鲁棒性的说法并未得到一致证据支持，因其在分布外或对抗性输入下常出现失败。
• LLM系统性实现最先进性能的主张被夸大；其性能在不同任务与评估基准间存在显著差异。
• 在少样本与零样本设置中，规模驱动性能提升的证据较强，但该关系并非单调，且取决于任务复杂度与数据质量。
• 涌现能力（如大模型中的思维链推理）仅在模型规模超过某一临界值后出现，表明其具有非线性行为特征，但该现象仍理解不足且难以一致复现。