[论文解读] TelecomGPT: A Framework to Build Telecom-Specfic Large Language Models

Hang Zou, Qiyang Zhao+5 more|arXiv (Cornell University)|Jul 12, 2024

Natural Language Processing Techniques被引用 7

一句话总结

本文提出一种通过持续预训练、指令微调和对齐微调将通用大语言模型（LLMs）转化为电信领域特定的LLMs的流程，并引入电信为核心的数据集和基准。TelecomGPT 据称在 Telecom Math Modeling 上超越了 SOTA，并在若干与电信相关的基准上达到相当的表现。

ABSTRACT

Large Language Models (LLMs) have the potential to revolutionize the Sixth Generation (6G) communication networks. However, current mainstream LLMs generally lack the specialized knowledge in telecom domain. In this paper, for the first time, we propose a pipeline to adapt any general purpose LLMs to a telecom-specific LLMs. We collect and build telecom-specific pre-train dataset, instruction dataset, preference dataset to perform continual pre-training, instruct tuning and alignment tuning respectively. Besides, due to the lack of widely accepted evaluation benchmarks in telecom domain, we extend existing evaluation benchmarks and proposed three new benchmarks, namely, Telecom Math Modeling, Telecom Open QnA and Telecom Code Tasks. These new benchmarks provide a holistic evaluation of the capabilities of LLMs including math modeling, Open-Ended question answering, code generation, infilling, summarization and analysis in telecom domain. Our fine-tuned LLM TelecomGPT outperforms state of the art (SOTA) LLMs including GPT-4, Llama-3 and Mistral in Telecom Math Modeling benchmark significantly and achieve comparable performance in various evaluation benchmarks such as TeleQnA, 3GPP technical documents classification, telecom code summary and generation and infilling.

研究动机与目标

• 解决通用 LLMs 中缺乏电信领域知识的问题，并实现对电信特定推理与任务的有效处理。
• 开发一种实用的流程，使用成本高效的持续预训练、指令微调和对齐微调将通用型 LLMs 适配到电信领域。
• 创建面向电信领域的专用数据集和评估基准，以评估在电信情境中的数学建模、开放式问答和代码任务。
• 证明电信专用模型（TelecomGPT）在关键电信基准上相较于最先进的 LLMs 取得优越或具有竞争力的表现。

提出的方法

• 在电信领域数据集上进行持续预训练，使通用型 LLM 得以专门化，同时将训练成本维持在低于从零开始预训练的水平。
• 面向电信的指令微调（有监督微调），以提升对电信相关指令的执行能力以及零-shot/少量样本任务的表现。
• 利用 Direct Preference Optimization (DPO) 进行面向电信的对齐微调，使输出更符合电信领域偏好回应，而非依赖 RLHF。
• 构建三个数据集：OpenTelecom 作为预训练数据、TelecomInstruct 用于多样化的电信指令、TelecomAlign 用于基于偏好的对齐。
• 引入三个基准：Telecom Math Modeling、Telecom Open QnA 与 Telecom Code Tasks，用以评估在电信情境中的数学建模、开放式问答和代码相关能力。
• 可选的技术细节：对 TL（因果语言建模）、指令微调和 DPO 对齐的损失函数的公式化。

Figure 1 : The training pipeline of our TelecomGPT framework. The full pipeline consist of three training stage, namely, continual pretraining on telecom domain, instruct tuning ( SFT ) and alignment tuning.

实验结果

研究问题

• RQ1 如何通过持续预训练、指令微调和对齐微调高效地将通用型 LLM 适配到电信领域？
• RQ2 哪些最有效的电信特定数据集和基准可用于评估电信适配后的 LLM？
• RQ3 TelecomGPT 在电信聚焦任务（如数学建模、问答和代码相关任务）上的表现，相较于 SOTA LLMs 如 GPT-4、Llama-3 和 Mistral？
• RQ4 提出的基准是否能够在电信情境中覆盖知识查询、数学建模、文档分类、代码生成与分析？

主要发现

• TelecomGPT 在 Telecom Math Modeling 基准上超过了如 GPT-4、Llama-3 和 Mistral 等最先进的 LLM。
• TelecomGPT 在包括 TeleQnA、3GPP 技术文档分类、 电信代码摘要与生成以及填充等基准上达到与领先模型相当的表现。
• 本文通过在现有基准基础上扩展三个新任务（Telecom Math Modeling、Telecom Open QnA、Telecom Code Tasks），提供了一个全面的电信聚焦评估。
• 展示了通过持续预训练、指令微调和对齐微调，以及电信特定数据和提示，将通用型 LLM 适配到电信领域的实用流程。

Figure 5 : Training and evaluation loss during continue pretraining (LlaMA2-7B-TP).