[论文解读] TCM-GPT: Efficient Pre-training of Large Language Models for Domain Adaptation in Traditional Chinese Medicine

Guoxing Yang, Jian‐Yu Shi+3 more|arXiv (Cornell University)|Nov 3, 2023

Natural Language Processing Techniques被引用 4

一句话总结

本文提出 TCMDA，一种针对中医（TCM）领域的大规模语言模型领域自适应预训练方法，采用10亿token的中医专用语料库（TCM-Corpus-1B）与LoRA微调技术。由此训练出的 TCM-GPT-7B 模型在中医诊断与辨证任务中分别实现了17%和12%的相对准确率提升，证明了在中医领域进行领域特定预训练的有效性。

ABSTRACT

Pre-training and fine-tuning have emerged as a promising paradigm across various natural language processing (NLP) tasks. The effectiveness of pretrained large language models (LLM) has witnessed further enhancement, holding potential for applications in the field of medicine, particularly in the context of Traditional Chinese Medicine (TCM). However, the application of these general models to specific domains often yields suboptimal results, primarily due to challenges like lack of domain knowledge, unique objectives, and computational efficiency. Furthermore, their effectiveness in specialized domains, such as Traditional Chinese Medicine, requires comprehensive evaluation. To address the above issues, we propose a novel domain specific TCMDA (TCM Domain Adaptation) approach, efficient pre-training with domain-specific corpus. Specifically, we first construct a large TCM-specific corpus, TCM-Corpus-1B, by identifying domain keywords and retreving from general corpus. Then, our TCMDA leverages the LoRA which freezes the pretrained model's weights and uses rank decomposition matrices to efficiently train specific dense layers for pre-training and fine-tuning, efficiently aligning the model with TCM-related tasks, namely TCM-GPT-7B. We further conducted extensive experiments on two TCM tasks, including TCM examination and TCM diagnosis. TCM-GPT-7B archived the best performance across both datasets, outperforming other models by relative increments of 17% and 12% in accuracy, respectively. To the best of our knowledge, our study represents the pioneering validation of domain adaptation of a large language model with 7 billion parameters in TCM domain. We will release both TCMCorpus-1B and TCM-GPT-7B model once accepted to facilitate interdisciplinary development in TCM and NLP, serving as the foundation for further study.

研究动机与目标

• 为解决通用大语言模型在中医领域表现不佳的问题，原因包括缺乏领域特定知识以及计算效率低下。
• 构建大规模、高质量的中医专用语料库，以支持有效的领域自适应预训练。
• 开发一种高效的微调策略，在保留预训练权重的同时适应中医特定任务。
• 在真实世界中医自然语言处理任务（如诊断与辨证）中验证领域自适应预训练的有效性。
• 发布 TCM-Corpus-1B 与 TCM-GPT-7B，以支持未来中医与自然语言处理交叉领域的研究。

提出的方法

• 通过识别中医关键词，并从通用领域语料库中检索相关文本，构建 TCM-Corpus-1B。
• 采用 LoRA（低秩适配）技术对大语言模型进行微调，冻结原始模型权重，仅训练低秩投影矩阵。
• 利用 LoRA 技术，以极少的额外参数高效适配模型至中医任务。
• 基于 LoRA 适配的训练流程，在 TCM-Corpus-1B 上对 TCM-GPT-7B 模型进行预训练与微调。
• 在两个中医特定任务上评估模型：中医辨证（多项选择）与中医诊断（临床推理）。
• 发布 TCM-Corpus-1B 与 TCM-GPT-7B，以支持开放研究与可复现性。

Figure 1: The overview of TCMDA

实验结果

研究问题

• RQ1 领域特定的预训练是否能显著提升大语言模型在中医自然语言处理任务中的表现？
• RQ2 在标注数据有限的情况下，基于 LoRA 的微调方法在将通用大语言模型适配至中医领域时效果如何？
• RQ3 大规模、精心构建的中医语料库对模型泛化能力与中医推理中的事实一致性有何影响？
• RQ4 经过领域适配后，一个70亿参数的大语言模型是否能在中医相关任务中达到最先进性能？
• RQ5 领域适配后的 TCM-GPT-7B 与随机或未适配模型相比，在生成准确且有意义的临床响应方面表现如何？

主要发现

• 与基线模型相比，TCM-GPT-7B 在 TCM-EXAM 数据集上实现了17%的相对准确率提升。
• 在中医诊断任务中，TCM-GPT-7B 相较于竞争模型实现了12%的相对准确率增益。
• 案例研究中，该模型正确识别出 '解索脉'（untwining rope pulse）为答案，而随机基线模型错误选择了 '鱼翔脉'（waving fish pulse）。
• 基于 LoRA 的适配方法实现了高效的微调，仅需极少的参数更新，同时在保留原始模型知识的基础上，成功适应了中医特有的术语与逻辑体系。
• TCM-Corpus-1B 语料库显著提升了模型在中医临床推理中生成事实准确且上下文恰当回应的能力。
• 据作者所知，这是首个在真实世界任务上验证成功的70亿参数大语言模型在中医领域的领域自适应应用。

Figure 2: The Impact of Corpus Size on Performance