[论文解读] Qibo: A Large Language Model for Traditional Chinese Medicine

Heyi Zhang, Xin Wang+6 more|arXiv (Cornell University)|Mar 24, 2024

Traditional Chinese Medicine Studies被引用 13

一句话总结

Qibo 是一个 基于 Chinese-LLaMA 的 LLM， 从 预训练 到 监督微调，在一个 自定义的 Traditional Chinese Medicine 语料库 上进行训练，并附带一个 专门的评估基准，用于评估 TCM 的理解与应用。

ABSTRACT

Large Language Models (LLMs) has made significant progress in a number of professional fields, including medicine, law, and finance. However, in traditional Chinese medicine (TCM), there are challenges such as the essential differences between theory and modern medicine, the lack of specialized corpus resources, and the fact that relying only on supervised fine-tuning may lead to overconfident predictions. To address these challenges, we propose a two-stage training approach that combines continuous pre-training and supervised fine-tuning. A notable contribution of our study is the processing of a 2GB corpus dedicated to TCM, constructing pre-training and instruction fine-tuning datasets for TCM, respectively. In addition, we have developed Qibo-Benchmark, a tool that evaluates the performance of LLM in the TCM on multiple dimensions, including subjective, objective, and three TCM NLP tasks. The medical LLM trained with our pipeline, named $ extbf{Qibo}$, exhibits significant performance boosts. Compared to the baselines, the average subjective win rate is 63%, the average objective accuracy improved by 23% to 58%, and the Rouge-L scores for the three TCM NLP tasks are 0.72, 0.61, and 0.55. Finally, we propose a pipline to apply Qibo to TCM consultation and demonstrate the model performance through the case study.

研究动机与目标

• 推动为传统中医（TCM）创建一个领域特定的 LLM，以解决 TCM 理论与现代 AI 模型之间的差距。
• 开发一个面向 TCM 的 LLM 的完整训练管道（从预训练到 SFT）。
• 构建高质量、多样化的 TCM 语料库及数据处理规则，以更好地捕获领域知识。
• 创建 Qibo-benchmark，以定量评估 LLMs 在 TCM 知识、推理和安全性方面的表现。

提出的方法

• 在多样化的 TCM 与现代医学语料库上进行持续预训练，以在 Chinese-LLaMA 中灌输领域知识和诊断推理。
• 使用多源 TCM 对话数据集的监督微调（SFT），并转换为 Alpaca 风格的对话格式。
• 在 SFT 中纳入四个数据源：TCM 单轮和多轮对话、TCM 自然语言处理任务数据，以及一般医学对话，确保领域相关性和泛化性。
• 一个包含多粒度清洗（字符级和段落级）和人工验证的数据处理管道，以创建高质量的训练语料。
• 通过 GPT-4 和人工专家评估，以及客观 NLP 任务基准，对安全性、专业性和流畅性进行评估。

实验结果

研究问题

• RQ1 基于 LLaMA 的模型从预训练到 SFT 的训练在让其专注于传统中医方面的效果如何？
• RQ2 与通用医学 LLM 相比，领域特定的语料库和评估基准是否提升了模型在 TCM 理解、辩证和处方识别方面的能力？
• RQ3 Qibo 是否能够在 TCM 特定任务和多轮对话中优于现有的中文医疗 LLM，同时保持安全性和专业性？
• RQ4 在实际部署面向 TCM 的 LLM 时存在哪些局限性和安全考虑？

主要发现

• Qibo 在传统中医领域展现出在主观（专业性、安全性、流畅性）和客观评估方面的强大领域表现。
• Qibo-13B 在多轮 TCM 评估任务上比 Qibo-7B 呈现更高的准确性，表明框架内的规模效应。
• 在 TCM NLP 任务中，Qibo 经常超过基线医疗模型，但可能落后于为这些任务优化的特定任务模型。
• 作者提供了专用的 Qibo-benchmark，使不同模型在 TCM 理解与应用方面能够进行定量比较。
• 该模型承认局限性，包括潜在的不准确性以及在实际医疗使用中的谨慎性需求，并指出未来在安全性与多模态整合方面的工作。