[论文解读] SkillGPT: a RESTful API service for skill extraction and standardization using a Large Language Model

Nan Li, Bo Soo Kang+1 more|arXiv (Cornell University)|Apr 17, 2023

Topic Modeling被引用 10

一句话总结

SkillGPT 是一个 API 工具，使用骨干开放源代码的 LLM 和向量检索从自由文本的职位描述和个人资料中提取并标准化技能，在速度、准确性和成本之间取得平衡。

ABSTRACT

We present SkillGPT, a tool for skill extraction and standardization (SES) from free-style job descriptions and user profiles with an open-source Large Language Model (LLM) as backbone. Most previous methods for similar tasks either need supervision or rely on heavy data-preprocessing and feature engineering. Directly prompting the latest conversational LLM for standard skills, however, is slow, costly and inaccurate. In contrast, SkillGPT utilizes a LLM to perform its tasks in steps via summarization and vector similarity search, to balance speed with precision. The backbone LLM of SkillGPT is based on Llama, free for academic use and thus useful for exploratory research and prototype development. Hence, our cost-free SkillGPT gives users the convenience of conversational SES, efficiently and reliably.

研究动机与目标

• 促进从非结构化的职位描述和用户资料中自动提取技能并进行标准化。
• 使用开源 LLM 和向量嵌入提供成本高效、准确的 SES 解决方案。
• 实现多语言的 SES 与多概念提取（技能、职业、职业组）。
• 为研究人员提供易于访问的 API 和 UI，以原型化和评估 SES 任务。

提出的方法

• 使用开源 LLM 骨干（Vicuna-13B）将自由文本输入总结为技能清单。
• 对汇总文本计算嵌入并对预计算的 ESCO 嵌入执行向量相似度检索。
• 通过向量相似度检索前 k 个匹配的 ESCO 术语以标准化技能。
• 通过 API 网关协调各组件，并提供 RESTful API 或 Gradio UI 作为交互模式。
• 在系统初始化阶段对 ESCO 分类嵌入进行结构化存储，从而在在线 SES 任务中启用。

实验结果

研究问题

• RQ1 在不依赖大量监督或预处理的情况下，如何使用开源 LLM 高效执行 SES？
• RQ2 用预计算的 ESCO 嵌入的向量相似度方法，能否从自由文本中获得准确的技能标准化？
• RQ3 多语言（英语、法语、荷兰语）的 SES 流程在不同语言中是否保持性能？
• RQ4 在 SES 任务中使用 Vicuna-13B 时，速度、成本与准确性之间的权衡是什么？

主要发现

• SkillGPT 通过摘要与向量检索相结合，在速度和精度之间实现平衡的技能提取与标准化。
• 该系统依赖于针对 ESCO 嵌入的快速向量相似度检索，以检索出合理的标准术语。
• SkillGPT 支持多种文档类型、ESCO 概念类型和语言，能够实现18种用例组合。
• Vicuna-13B 足以完成 SES 任务，并且可以在本地低成本部署，适合学术使用和原型开发。
• 设计具有模块化和灵活性，可容纳其他 LLM 或工具，并提供公共代码库。
• 局限性包括在摘要过程中可能丢失细微技能，以及语言相关的性能差异。