[论文解读] Observations on LLMs for Telecom Domain: Capabilities and Limitations

Sumit Soman, H. G. Ranjani|arXiv (Cornell University)|May 22, 2023

Topic Modeling参考文献 16被引用 4

一句话总结

本文使用 Cradlepoint 的领域特定数据，评估了生成式 LLM（GPT-3.5、GPT-4、Bard 和 LLaMA）在企业无线电信聊天机器人中的能力与局限性。研究发现，尽管 GPT-4 和 Bard 在领域理解能力和对输入扰动的鲁棒性方面表现优异，但幻觉、上下文不一致保留以及对输入错误的敏感性仍是关键问题，因此在生产环境中必须进行微调并设置防护机制。

ABSTRACT

The landscape for building conversational interfaces (chatbots) has witnessed a paradigm shift with recent developments in generative Artificial Intelligence (AI) based Large Language Models (LLMs), such as ChatGPT by OpenAI (GPT3.5 and GPT4), Google's Bard, Large Language Model Meta AI (LLaMA), among others. In this paper, we analyze capabilities and limitations of incorporating such models in conversational interfaces for the telecommunication domain, specifically for enterprise wireless products and services. Using Cradlepoint's publicly available data for our experiments, we present a comparative analysis of the responses from such models for multiple use-cases including domain adaptation for terminology and product taxonomy, context continuity, robustness to input perturbations and errors. We believe this evaluation would provide useful insights to data scientists engaged in building customized conversational interfaces for domain-specific requirements.

研究动机与目标

• 评估生成式 LLM 在企业无线电信领域构建领域特定对话接口的适用性。
• 识别在真实电信用例中，如幻觉、上下文保留失败以及对输入扰动的敏感性等关键局限性。
• 评估基于提示的防护机制在约束产品特定查询模型行为方面的有效性。
• 比较不同输入拼写、语法和术语扰动下模型的鲁棒性。
• 为数据科学家提供关于模型选择、微调必要性以及电信应用中部署约束的可操作见解。

提出的方法

• 使用公开可用的 LLM 接口（GPT-3.5、GPT-4、Bard、通过 HuggingChat 使用的 LLaMA）在 Cradlepoint 的企业无线产品和服务数据上开展对比实验。
• 设计了涵盖 5G 技术、产品功能和配置步骤的领域特定问答任务，以评估术语理解与准确性。
• 通过模拟产品信息查询和故障排除工作流的多轮对话，评估上下文连续性。
• 引入受控的输入扰动（拼写错误、语法错误和领域特定错别字），以测试鲁棒性与错误恢复能力。
• 应用基于提示的防护机制，将响应限制在已知的产品和术语集合内，评估其在扰动输入下的有效性。
• 通过模型响应的定性与对比分析，评估幻觉、代词指代消解以及分步指令的可靠性。

实验结果

研究问题

• RQ1 使用生成式 LLM 的对话接口能否在电信领域（如 5G、企业无线产品和网络配置）中准确适应领域特定术语？
• RQ2 这些模型在多轮对话中保持上下文的能力如何，特别是在代词指代消解和长期上下文保留方面？
• RQ3 LLM 在生成配置步骤或产品特定信息时，幻觉的程度如何，其类似食谱的响应有多可靠？
• RQ4 LLM 对输入扰动（如拼写错误、语法错误或领域特定错别字）的鲁棒性如何？

主要发现

• GPT-4 在长期上下文保留和代词指代消解方面表现最强，在多轮对话中优于 GPT-3.5、Bard 和 LLaMA。
• Bard 对输入扰动的鲁棒性最高，能正确理解并解析一般术语和领域特定术语中的错别字，而无需用户澄清。
• GPT-3.5 无法解析某些拼写错误，需要用户澄清；而 GPT-4 虽能纠正错误，但会表达不确定性，从而提示用户确认。
• LLaMA 对输入扰动极为敏感；即使应用了防护机制，仍会误解查询，并在遇到错别字时虚构产品名称或配置。
• 除 GPT-4 外，所有模型均表现出虚假相关性（例如，错误地将 4G 和 5G 与双连接关联），表明训练数据中可能存在分布偏差。
• 在扰动输入下，基于提示的防护机制对 LLaMA 无效，表明若不进行领域特定鲁棒性的微调，无法可靠约束模型行为。