[论文解读] PharmaGPT: Domain-Specific Large Language Models for Bio-Pharmaceutical and Chemistry

Linqing Chen, Wei‐Lei Wang+34 more|arXiv (Cornell University)|Jun 26, 2024

Biomedical Text Mining and Ontologies被引用 4

一句话总结

PharmaGPT 引入了经过大规模生物医学和化学语料微调的领域专用大语言模型（13B 和 70B 参数），在 NAPLEX 和生物医学翻译基准测试中达到最先进性能，优于 GPT-3.5 和 Claude 3 等通用模型，尽管参数量显著更少，证明了在生物制药自然语言处理中专用预训练的有效性。

ABSTRACT

Large language models (LLMs) have revolutionized Natural Language Processing (NLP) by minimizing the need for complex feature engineering. However, the application of LLMs in specialized domains like biopharmaceuticals and chemistry remains largely unexplored. These fields are characterized by intricate terminologies, specialized knowledge, and a high demand for precision areas where general purpose LLMs often fall short. In this study, we introduce PharmaGPT, a suite of domain specilized LLMs with 13 billion and 70 billion parameters, specifically trained on a comprehensive corpus tailored to the Bio-Pharmaceutical and Chemical domains. Our evaluation shows that PharmaGPT surpasses existing general models on specific-domain benchmarks such as NAPLEX, demonstrating its exceptional capability in domain-specific tasks. Remarkably, this performance is achieved with a model that has only a fraction, sometimes just one-tenth-of the parameters of general-purpose large models. This advancement establishes a new benchmark for LLMs in the bio-pharmaceutical and chemical fields, addressing the existing gap in specialized language modeling. It also suggests a promising path for enhanced research and development, paving the way for more precise and effective NLP applications in these areas.

研究动机与目标

• 解决通用大语言模型在生物制药和化学领域中精度不足与领域知识缺乏的问题。
• 开发一种多语言、领域专用的大语言模型，能够处理复杂术语和细微的科学语言。
• 证明较小的专用模型可在特定领域自然语言处理任务中超越更大的通用模型。
• 建立一种可扩展、高效的训练框架，利用精心筛选的高质量科学语料进行领域专用大语言模型训练。
• 为未来科学与医学领域垂直领域大语言模型的发展提供可复现、开放架构的路线图。

提出的方法

• 从生物制药和化学文献中收集了包含数十亿 token 的综合多语言语料，用于预训练。
• 通过掩码语言建模与指令微调相结合的方式，在领域特定任务上对 13B 和 70B 参数的大语言模型进行微调。
• 采用先进的分布式训练技术，以优化预训练过程中的效率与可扩展性。
• 在段落、句子和单词级别的翻译任务中，采用 BLEU 分数进行多粒度评估。
• 在美式 NAPLEX 和中文药学考试上，与领先的通用模型（GPT-3.5、Claude 3、Google 模型）进行性能基准测试。
• 分析缩放定律，以关联模型规模与领域特定基准性能提升之间的关系。

实验结果

研究问题

• RQ1 更小的领域专用大语言模型是否能在生物制药和化学自然语言处理任务中超越更大的通用大语言模型？
• RQ2 在精心筛选的生物医学与化学语料上进行预训练，在 NAPLEX 等领域特定基准测试中能带来多大程度的性能提升？
• RQ3 PharmaGPT 在多语言生物医学文本翻译任务中与最先进通用大语言模型相比表现如何？
• RQ4 模型规模对专业科学领域性能的影响如何？性能提升是否遵循可预测的趋势？
• RQ5 领域专用大语言模型是否能以远少于通用模型的参数量实现高质量结果？

主要发现

• 在段落级生物医学翻译任务中，PharmaGPT 的 BLEU 得分为 30，优于 GPT-3.5（27）、Claude 3（26）和 Google 模型（27）。
• 在单词级翻译任务中，PharmaGPT 得分为 10，高于 GPT-3.5 的 8，以及 Claude 3 和 Google 模型的 9。
• 在句子级翻译任务中，PharmaGPT 的 BLEU 得分为 18，超过 GPT-3.5（15）和 Claude 3（16）。
• 在美式 NAPLEX 和中文药学考试中，PharmaGPT 的表现随模型规模增加而提升，最终超越 GPT。
• 该模型在所有翻译粒度上均表现出一致的优越性，表明其在处理复杂科学语言方面具有鲁棒性。
• 尽管参数量仅为部分通用模型的十分之一，PharmaGPT 在领域特定评估中仍实现了最先进性能。