[论文解读] PromptCBLUE: A Chinese Prompt Tuning Benchmark for the Medical Domain

Wei Zhu, Xiaoling Wang+3 more|arXiv (Cornell University)|Oct 22, 2023

Topic Modeling被引用 4

一句话总结

PromptCBLUE 是首个针对中文医疗 NLP 的提示调优基准，重新构想 CBLUE 基准以评估中文大模型在医疗实体识别、文本分类、自然语言蕴涵、对话理解与生成等任务上的多任务能力。结果表明，微调后的开源大模型在部分任务上甚至优于 GPT-4，且思维链提示（chain-of-thought prompting）与结构化输出设计能显著提升性能。

ABSTRACT

Biomedical language understanding benchmarks are the driving forces for artificial intelligence applications with large language model (LLM) back-ends. However, most current benchmarks: (a) are limited to English which makes it challenging to replicate many of the successes in English for other languages, or (b) focus on knowledge probing of LLMs and neglect to evaluate how LLMs apply these knowledge to perform on a wide range of bio-medical tasks, or (c) have become a publicly available corpus and are leaked to LLMs during pre-training. To facilitate the research in medical LLMs, we re-build the Chinese Biomedical Language Understanding Evaluation (CBLUE) benchmark into a large scale prompt-tuning benchmark, PromptCBLUE. Our benchmark is a suitable test-bed and an online platform for evaluating Chinese LLMs' multi-task capabilities on a wide range bio-medical tasks including medical entity recognition, medical text classification, medical natural language inference, medical dialogue understanding and medical content/dialogue generation. To establish evaluation on these tasks, we have experimented and report the results with the current 9 Chinese LLMs fine-tuned with differtent fine-tuning techniques.

研究动机与目标

• 为解决中文医疗大模型缺乏高质量、未泄露的多任务基准的问题。
• 克服现有基准仅限英文、聚焦知识探针或受预训练数据污染的局限性。
• 通过提示调优建立标准化、在线化的中文医疗大模型评估平台。
• 使用最先进的中文大模型与微调方法，为多样化医疗 NLP 任务提供全面的基线评估。

提出的方法

• 将 CBLUE 基准重构为以提示调优为核心的 82,600 个样本数据集，涵盖 5 项医疗 NLP 任务。
• 保持测试集标签私密且不公开，防止数据泄露，确保泛化能力评估。
• 在在线平台托管基准，并提供排行榜支持，实现模型的实时评估。
• 应用五种提示调优技术：P-tuning、P-tuning-v2、Adapter、LoRA 与 AdaLoRA，使用一致的超参数设置。
• 在所有方法中采用统一的训练设置：批量大小 64，初始初始值 3e-4，权重衰减 1e-4，使用 AdamW 优化器，线性衰减学习率调度。
• 在验证损失最低点之后 200 步选择模型检查点，以提升推理质量。

Figure 1: The confusion matrix of the LLM on the KUAKE-QIC test set.

实验结果

研究问题

• RQ1 提示调优能否有效评估中文医疗大模型在多样化生物医学 NLP 任务上的多任务能力？
• RQ2 微调后的开源大模型在中文医疗推理与信息抽取任务中与 GPT-4 等专有模型相比表现如何？
• RQ3 思维链提示与结构化输出格式在医疗信息抽取任务中能多大程度上提升性能？
• RQ4 在当前少样本提示调优设置下，进一步在医疗领域数据上预训练是否能显著提升大模型性能？
• RQ5 大模型在医疗对话与推理任务中的失败模式是什么？如何加以缓解？

主要发现

• 微调后的开源大模型在 PromptCBLUE 基准的多个任务上表现优于 ChatGPT 与 GPT-4，表明即使在模型规模增大背景下，微调依然至关重要。
• 思维链提示与显式输出格式设计显著提升了医疗实体识别与信息抽取任务的性能。
• 在医疗数据上进一步预训练并未带来一致的性能增益，与 BERT 时代的研究发现形成对比。
• 表现最佳的模型在 PromptCBLUE 基准总分上达到 71.10 的测试 F1 分数，各任务得分范围为 27.71（MedDG）至 105.08（S-V2-MRG）。
• 案例研究显示，大模型在复杂推理与对话连贯性方面常出现失败，尤其在处理具有冲突症状的多轮医疗咨询时更为明显。
• 本基准已开源代码与在线评估平台，以支持持续研究与社区贡献。