[论文解读] What Changes Can Large-scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers

Boseop Kim, HyoungSeok Kim+35 more|arXiv (Cornell University)|Sep 9, 2021

Topic Modeling参考文献 43被引用 4

一句话总结

本文介绍了 HyperCLOVA，一个在 5600 亿 token 的韩语语料上预训练的 820 亿参数韩语生成式自回归 Transformer 模型，在韩语自然语言处理任务中实现了上下文学习的最先进零样本和少样本性能。该研究提出了一种语言特定的分词方法，并结合基于提示的学习（如 p-tuning）以提升性能，同时推出了 HyperCLOVA Studio——一个基于图形用户界面的提示工程接口，使非专业人士能够以极少的机器学习专业知识快速构建 AI 应用原型，推动了无代码 AI 的发展。

ABSTRACT

GPT-3 shows remarkable in-context learning ability of large-scale language models (LMs) trained on hundreds of billion scale data. Here we address some remaining issues less reported by the GPT-3 paper, such as a non-English LM, the performances of different sized models, and the effect of recently introduced prompt optimization on in-context learning. To achieve this, we introduce HyperCLOVA, a Korean variant of 82B GPT-3 trained on a Korean-centric corpus of 560B tokens. Enhanced by our Korean-specific tokenization, HyperCLOVA with our training configuration shows state-of-the-art in-context zero-shot and few-shot learning performances on various downstream tasks in Korean. Also, we show the performance benefits of prompt-based learning and demonstrate how it can be integrated into the prompt engineering pipeline. Then we discuss the possibility of materializing the No Code AI paradigm by providing AI prototyping capabilities to non-experts of ML by introducing HyperCLOVA studio, an interactive prompt engineering interface. Lastly, we demonstrate the potential of our methods with three successful in-house applications.

研究动机与目标

• 为解决大规模非英语语言模型中缺乏对模型规模与提示工程影响的全面分析的问题。
• 探究针对韩语等低资源、黏着性语言的语言特定分词方法对上下文学习性能的影响。
• 证明连续提示微调（如 p-tuning）在大规模上下文学习大语言模型中的有效性。
• 通过交互式、基于图形界面的提示工程平台（HyperCLOVA Studio），使非专业人士能够无需训练模型即可快速构建 AI 系统原型。
• 探索利用单一大规模大语言模型作为基础，实现无代码 AI 模式在多样化非技术领域中的潜力。

提出的方法

• 通过网络爬取与数据清洗构建了聚焦于语言与文化相关性的 5600 亿 token 的韩语为中心语料库。
• 设计了一种混合分词方法，结合字节级 BPE 与词素分析器，以更好地处理韩语的黏着性形态结构。
• 采用标准 GPT-3 风格的自回归语言建模范式，训练了 390 亿参数与 820 亿参数的 HyperCLOVA 模型。
• 应用连续提示微调（p-tuning）以优化上下文学习，而无需微调主模型参数。
• 开发了 HyperCLOVA Studio，一个基于网页的交互式界面，为非技术用户提供图形界面与 API 接口，以访问 HyperCLOVA。
• 集成输入梯度功能，支持少样本提示编码器微调，从而在极小数据量下提升性能。

实验结果

研究问题

• RQ1 语言特定的分词方法在大规模非英语大语言模型中如何影响上下文学习性能？
• RQ2 在韩语自然语言处理任务的零样本与少样本设置下，中等规模（390 亿参数）与大规模（820 亿参数）大语言模型之间性能差异如何？
• RQ3 像 p-tuning 这类连续提示优化方法是否能有效应用于百亿参数规模大语言模型的上下文学习？
• RQ4 非专业人士在多大程度上可以通过交互式提示工程界面，在无需模型训练的情况下构建高性能 AI 原型？
• RQ5 单一大规模大语言模型是否能够实现无代码 AI 模式，从而在非技术领域中实现 AI 开发的民主化？

主要发现

• 820 亿参数的 HyperCLOVA 在多个韩语自然语言处理基准测试中实现了上下文学习的最先进零样本与少样本性能。
• 所提出的韩语特定分词方法相比标准 BPE 显著提升了下游任务性能，尤其在形态结构复杂的语境下表现更优。
• p-tuning 在分类与生成任务中均提升了性能，优于标准提示模板与少样本基线模型。
• 中等规模的 HyperCLOVA 模型（390 亿参数）展现出强大的少样本泛化能力，表明规模与效率之间的权衡是可管理的。
• HyperCLOVA Studio 使非专业人士能够使用极少数据且无需模型训练，构建出性能媲美人类专家的 AI 应用原型。
• 通过集成基于输入梯度的提示微调，即使非专业人士也能利用少量示例实现最先进性能，充分证明了无代码 AI 的实际可行性。