[论文解读] Sensitivity and Robustness of Large Language Models to Prompt Template in Japanese Text Classification Tasks

Chengguang Gan, Tatsunori Mori|arXiv (Cornell University)|May 15, 2023

Topic Modeling被引用 5

一句话总结

本文研究了大型语言模型（LLMs）在日语文本分类任务中对提示模板变化的敏感性与鲁棒性。基于一个日语文本基准数据集，研究发现提示模板的微小结构变化会导致准确率急剧下降——例如，GPT-4的性能从49.21%降至25.44%，凸显了即使是最先进的模型也存在不稳定性，呼吁在低资源语言环境下提升模型鲁棒性。

ABSTRACT

Prompt engineering relevance research has seen a notable surge in recent years, primarily driven by advancements in pre-trained language models and large language models. However, a critical issue has been identified within this domain: the inadequate of sensitivity and robustness of these models towards Prompt Templates, particularly in lesser-studied languages such as Japanese. This paper explores this issue through a comprehensive evaluation of several representative Large Language Models (LLMs) and a widely-utilized pre-trained model(PLM). These models are scrutinized using a benchmark dataset in Japanese, with the aim to assess and analyze the performance of the current multilingual models in this context. Our experimental results reveal startling discrepancies. A simple modification in the sentence structure of the Prompt Template led to a drastic drop in the accuracy of GPT-4 from 49.21 to 25.44. This observation underscores the fact that even the highly performance GPT-4 model encounters significant stability issues when dealing with diverse Japanese prompt templates, rendering the consistency of the model's output results questionable. In light of these findings, we conclude by proposing potential research trajectories to further enhance the development and performance of Large Language Models in their current stage.

研究动机与目标

• 评估LLMs在日语文本分类任务中对提示模板变化的鲁棒性与敏感性。
• 识别提示模板中微小句法变化是否显著影响低资源语言（如日语）中的模型性能。
• 评估基于指令的提示方法相较于标准提示模板在日语文本处理任务中的有效性。
• 探讨使用多语言语料库（如中日语）进行微调对LLMs在日语中性能与稳定性的影响。
• 为提升非英语、低资源语言环境下LLM的可靠性与一致性提供可操作的见解。

提出的方法

• 在日语文本分类基准数据集上评估多种LLMs（GPT-4、GPT-3.5-Turbo、LLaMA-7B/13B、T5以及LLaMA-7B-LoRA）的表现。
• 对同一模型与任务应用多个语义相似但结构不同的提示模板，以测量性能差异。
• 使用箱线图可视化分析不同提示模板下准确率分数的分布，突出显示波动性与异常值。
• 使用日语-中文微调语料对LLaMA-7B-LoRA进行训练，以评估多语言预训练对性能与稳定性的影响。
• 通过人工分析生成输出，评估上下文理解能力与生成质量，尤其关注T5等小型模型的表现。
• 比较不同提示模板下的模型输出，识别敏感性与响应一致性的模式。

实验结果

研究问题

• RQ1 当使用结构不同但语义相似的提示模板时，LLMs在日语文本分类任务中的性能如何变化？
• RQ2 提示模板中微小句法变化在多大程度上影响了最先进的LLMs在日语中的准确率与稳定性？
• RQ3 在低资源语言环境中，基于指令的提示方法是否能比标准提示模板提升鲁棒性？
• RQ4 使用多语言语料库（如中日语）进行微调是否能增强LLMs在日语文本分类任务中的鲁棒性与性能？
• RQ5 T5等小型模型与更大的LLMs相比，在理解与响应结构多变的日语文本提示时表现如何？

主要发现

• 提示结构的简单改变使GPT-4的准确率从49.21%降至25.44%，表明其对模板设计高度敏感。
• LLaMA-7B-LoRA在性能上达到与GPT模型相当的水平，甚至在日语文本基准上超越了GPT-3.5-Turbo，证明了多语言微调的有效性。
• GPT系列在不同模板下的准确率四分位距显著更大，表明其鲁棒性差，对提示变化高度敏感。
• T5未能理解提示意图，反而重复了'Answer:'之后的文本，表明其上下文理解能力较差。
• LLaMA-13B与LLaMA-7B即使缺乏原生日语支持，也能生成有意义的日语响应，尽管偶尔出现未登录词（OOV）token。
• GPT-4生成的响应比GPT-3.5-Turbo更符合格式规范，后者则生成更多对话式风格的输出，表明两者在遵循指令行为上存在差异。