[论文解读] TeleQnA: A Benchmark Dataset to Assess Large Language Models Telecommunications Knowledge

Ali Maatouk, Fadhel Ayed+4 more|arXiv (Cornell University)|Oct 23, 2023

Topic Modeling被引用 14

一句话总结

{Translation}

ABSTRACT

We introduce TeleQnA, the first benchmark dataset designed to evaluate the knowledge of Large Language Models (LLMs) in telecommunications. Comprising 10,000 questions and answers, this dataset draws from diverse sources, including standards and research articles. This paper outlines the automated question generation framework responsible for creating this dataset, along with how human input was integrated at various stages to ensure the quality of the questions. Afterwards, using the provided dataset, an evaluation is conducted to assess the capabilities of LLMs, including GPT-3.5 and GPT-4. The results highlight that these models struggle with complex standards related questions but exhibit proficiency in addressing general telecom-related inquiries. Additionally, our results showcase how incorporating telecom knowledge context significantly enhances their performance, thus shedding light on the need for a specialized telecom foundation model. Finally, the dataset is shared with active telecom professionals, whose performance is subsequently benchmarked against that of the LLMs. The findings illustrate that LLMs can rival the performance of active professionals in telecom knowledge, thanks to their capacity to process vast amounts of information, underscoring the potential of LLMs within this domain. The dataset has been made publicly accessible on GitHub.

研究动机与目标

• 建立一个全面的、开源的电信知识基准，汇集自标准和研究来源。
• 开发一个自动化、可扩展的 QnA 生成工作流，并具备带人工在环的质量控制。
• 评估 GPT-3.5、GPT-4 与电信专业人员，以对电信知识进行基准测试。
• 展示电信语境如何提升 LLM 的性能，并倡导建立一个面向电信的基础模型。

提出的方法

• 从标准、研究及词汇来源组装一个多样化的电信语料库（~25,000 页，~6 百万字）。
• 使用两阶段的 LLM 框架（生成器和验证器）来创建带有上下文引用的多选题。
• 在多个阶段纳入人类在环验证，以确保正确性和自洽性。
• 应用后处理，包括自洽性筛选、选项乱序、以及缩略语映射。
• 通过嵌入（Ada v2）和 K-Means 聚类对数据集进行冗余消除，并进行第二轮人工验证。
• 在五个电信类别中评估 LLMs（GPT-3.5 和 GPT-4）与电信专业人士，并分析上下文对性能的影响。

实验结果

研究问题

• RQ1 GPT-3.5 与 GPT-4 在标准、研究、词汇以及一般主题上的电信领域问题的回答能力如何？
• RQ2 在提供电信语境后，标准相关问题上 LLM 的性能是否得到提升？
• RQ3 TeleQnA 数据集在电信主题知识方面与活跃的电信专业人士相比如何？
• RQ4 批量大小和迭代次序对该领域 LLM 准确性的一致性有何影响？
• RQ5 是否需要一个专门的电信基础模型以最大化 LLM 的电信能力？

主要发现

• GPT-4 在各类目上的准确性高于 GPT-3.5，平均约为 74% 对 67%。
• LLMs 在一般电信知识（词汇）方面表现出色，但在复杂标准问题上表现欠佳（GPT-4 在 standards 约为 64%）。
• 将电信语境引入可使 GPT-3.5 在 standards 问题上的相对准确度提升约 22.5%，显示领域特定语境的强大价值。
• LLMs 在总体电信知识上可以与活跃的电信专业人士相媲美，尤其是在研究和标准等复杂子领域。
• 数据集与上下文启用的方法凸显了需要一个电信专用基础模型来释放更高性能。