[论文解读] TrafficSafetyGPT: Tuning a Pre-trained Large Language Model to a Domain-Specific Expert in Transportation Safety

Ou Zheng, Mohamed Abdel‐Aty+3 more|arXiv (Cornell University)|Jul 28, 2023

Topic Modeling被引用 10

一句话总结

TrafficSafetyGPT 是一个基于 LLAMA 的模型，经过 TrafficSafety-2K 数据集微调，专门为运输安全任务定制的大语言模型。

ABSTRACT

Large Language Models (LLMs) have shown remarkable effectiveness in various general-domain natural language processing (NLP) tasks. However, their performance in transportation safety domain tasks has been suboptimal, primarily attributed to the requirement for specialized transportation safety expertise in generating accurate responses [1]. To address this challenge, we introduce TrafficSafetyGPT, a novel LLAMA-based model, which has undergone supervised fine-tuning using TrafficSafety-2K dataset which has human labels from government produced guiding books and ChatGPT-generated instruction-output pairs. Our proposed TrafficSafetyGPT model and TrafficSafety-2K train dataset are accessible at https://github.com/ozheng1993/TrafficSafetyGPT.

研究动机与目标

• 阐明在交通运输安全自然语言处理任务中对领域专门知识的需求。
• 开发一个领域定制的LLM，在交通情境中输出准确、聚焦安全的回答。
• 创建并发布一个标注数据集（TrafficSafety-2K），该数据集来自政府资源与 ChatGPT 生成的指令-输出对，以实现有监督微调。

提出的方法

• 以预训练的基于 LLAMA 的模型作为基础。
• 通过汇聚人工标注的政府指导性书籍和 ChatGPT 生成的指令-输出对来构建 TrafficSafety-2K。
• 应用有监督微调使模型与运输安全知识对齐。
• 通过可访问的 URL 公开提供 TrafficSafetyGPT 模型和 TrafficSafety-2K 数据集。

实验结果

研究问题

• RQ1 与通用领域的 LLM 相比，基于领域特定数据的有监督微调是否可以提升运输安全推理与回答质量？
• RQ2 将政府指导性书籍内容与 ChatGPT 生成的指令相结合对模型在安全关键任务上的性能有何影响？
• RQ3 所得到的 TrafficSafetyGPT 是否可以被研究人员轻松访问以进行复现和进一步构建？

主要发现

• TrafficSafetyGPT 被开发为一个面向运输安全的领域特定专家模型。
• 训练使用的 TrafficSafety-2K 数据集由政府指导性书籍内容和 ChatGPT 生成的指令-输出对组成。
• 模型和 TrafficSafety-2K 数据集可在提供的 URL 访问。