[论文解读] Using Large Language Models for Natural Language Processing Tasks in Requirements Engineering: A Systematic Guideline

Andreas Vogelsang, Jannik Fischbach|arXiv (Cornell University)|Feb 21, 2024

Software Engineering Techniques and Practices被引用 4

一句话总结

本文提出了一套系统化的指南，用于在需求工程（RE）任务中利用预训练的大规模语言模型（LLMs），涵盖LLM的基础知识、三种不同类型的LLM（仅编码器型、仅解码器型、编码器-解码器型）以及实用的微调策略。该指南使研究人员和从业者能够以最少的标注数据有效选择和适配LLM，用于RE中的自然语言处理（NLP）任务，从而克服传统数据稀缺的挑战。

ABSTRACT

Large Language Models (LLMs) are the cornerstone in automating Requirements Engineering (RE) tasks, underpinning recent advancements in the field. Their pre-trained comprehension of natural language is pivotal for effectively tailoring them to specific RE tasks. However, selecting an appropriate LLM from a myriad of existing architectures and fine-tuning it to address the intricacies of a given task poses a significant challenge for researchers and practitioners in the RE domain. Utilizing LLMs effectively for NLP problems in RE necessitates a dual understanding: firstly, of the inner workings of LLMs, and secondly, of a systematic approach to selecting and adapting LLMs for NLP4RE tasks. This chapter aims to furnish readers with essential knowledge about LLMs in its initial segment. Subsequently, it provides a comprehensive guideline tailored for students, researchers, and practitioners on harnessing LLMs to address their specific objectives. By offering insights into the workings of LLMs and furnishing a practical guide, this chapter contributes towards improving future research and applications leveraging LLMs for solving RE challenges.

研究动机与目标

• 通过在仅使用少量标注数据的情况下有效利用大规模语言模型（LLMs），解决需求工程（RE）中长期存在的数据稀缺问题。
• 为研究人员和从业者提供对LLM的基础理解，包括词嵌入、注意力机制和模型架构。
• 提出一种结构化、以决策为导向的方法，用于根据具体RE中的NLP任务需求，选择并应用最合适的LLM类型（仅编码器型、仅解码器型、编码器-解码器型）。
• 指导用户系统性地应用微调策略，包括提示工程、参数高效微调以及超参数调优，同时应对过拟合和偏见放大的关键风险。
• 通过强调LLM生态系统的动态特性以及专用预训练模型的可用性，支持在RE中实验性和适应性地使用LLM。

提出的方法

• 介绍基础的自然语言处理（NLP）概念，包括稀疏、静态和上下文相关的词嵌入，解释其在使LLM能够捕捉语义意义方面的作用。
• 解释自注意力机制和Transformer架构作为现代LLM中实现上下文嵌入的核心组件。
• 将LLM分类为三种类型：仅编码器型（如BERT）、仅解码器型（如GPT）和编码器-解码器型（如T5），每种类型适用于不同的RE中的NLP任务。
• 提出一个决策树，以根据任务需求（如文本理解、文本生成或序列到序列任务）指导选择最合适的LLM类型。
• 概述微调技术，包括提示微调、前缀微调和完整微调，强调正则化和超参数优化技术，以防止过拟合和偏见放大。
• 强调使用开源模型仓库（如Hugging Face）的重要性，该平台托管超过40,000个预训练模型，使研究人员能够获取特定领域或任务的LLM变体。

实验结果

研究问题

• RQ1 在需求工程（RE）的特定NLP任务中，哪种LLM架构（仅编码器型、仅解码器型或编码器-解码器型）最为合适？
• RQ2 研究人员和从业者如何在标注数据有限的情况下，有效微调预训练的LLM以应用于RE任务？
• RQ3 在微调LLM用于RE时，存在哪些关键风险（如过拟合、偏见放大和超参数敏感性），以及如何加以缓解？
• RQ4 在哪些情况下微调LLM不切实际或不可取，应考虑哪些替代方法？
• RQ5 如何有效利用快速演进的预训练LLM生态系统，以支持RE研究与实践？

主要发现

• LLM显著减少了在RE任务中对大规模标注数据集的依赖，即使标注样本少于10,000个，也能实现高质量的自动化，而传统模型通常需要超过10,000个样本才能有效运行。
• 通过Transformer中的自注意力机制实现的上下文嵌入，使同一个词在不同上下文中具有不同的向量表示，从而克服了静态嵌入的关键局限性。
• 微调LLM在RE任务中是有效的，但必须通过正则化技术（如Dropout、权重衰减）、早停法和交叉验证等手段仔细管理过拟合风险。
• 偏见放大是微调过程中的关键风险，因为模型权重可能强化微调数据中已有的偏见，因此必须进行仔细的数据筛选和审计。
• 并非所有LLM都支持微调；对于仅提供API的模型，或数据频繁变化、具有用户特异性的应用，微调可能不切实际或无效。
• Hugging Face平台上超过40,000个预训练模型的可用性，使研究人员能够获取针对特定RE任务、语言或领域优化的专用模型，从而提升性能并减少对基础模型的依赖。