[论文解读] Skill Extraction from Job Postings using Weak Supervision

Mike Zhang, Kristian Nørgaard Jensen+2 more|IT University Of Copenhagen (IT University of Copenhagen)|Sep 16, 2022

Topic Modeling参考文献 16被引用 6

一句话总结

本文提出一种弱监督方法，利用 ESCO 分类法中技能的嵌入作为弱监督信号，从职位招聘广告中提取技能。通过利用上下文嵌入（如 RoBERTa）和余弦相似度将职位广告中的候选词片段与 ESCO 技能匹配，该方法取得了优异性能——尤其在宽松 F1 指标上表现突出（Sayfullina 数据集最高达 59.61），表明 ESCO 可作为有效的、无需人工标注的技能提取信号。

ABSTRACT

Aggregated data obtained from job postings provide powerful insights into labor market demands, and emerging skills, and aid job matching. However, most extraction approaches are supervised and thus need costly and time-consuming annotation. To overcome this, we propose Skill Extraction with Weak Supervision. We leverage the European Skills, Competences, Qualifications and Occupations taxonomy to find similar skills in job ads via latent representations. The method shows a strong positive signal, outperforming baselines based on token-level and syntactic patterns.

研究动机与目标

• 为解决监督式技能提取的高成本与高人力投入问题，通过弱监督替代昂贵的人工标注。
• 探究欧洲技能、能力、资格与职业（ESCO）分类法是否可作为技能提取的可行弱监督信号。
• 评估不同嵌入池化策略与表示方法在将职位招聘广告中的技能短语匹配至 ESCO 技能时的表现。
• 分析 ESCO 技能的语言学特征及其与真实职位招聘广告的对齐情况。
• 在严格与宽松 F1 指标下，评估弱监督技能提取在两个基准数据集（Sayfullina 与 SkillSpan）上的性能。

提出的方法

• 通过使用 RoBERTa 和 JobBERT 等预训练语言模型对所有技能进行嵌入，将 ESCO 分类法（13,890 个技能）作为弱监督信号。
• 从职位招聘广告中提取候选 n-gram，并使用相同语言模型对其进行嵌入，以生成上下文表示。
• 通过其密集向量表示之间的余弦相似度匹配候选片段与 ESCO 技能：$\text{CosSim}(\vec{t},\vec{g}) = \frac{\vec{t}^T\vec{g}}{\|\vec{t}\|\|\vec{g}\|}$。
• 应用阈值（余弦相似度 = 0.8）以在包含负样本的数据集（如 SkillSpan）中允许“无技能”预测，从而在精确率与召回率之间取得最佳平衡。
• 采用多种嵌入策略：精确匹配、词形还原、词性标注以及池化方法（ISO、AOC、WSE），以比较性能差异。
• 在数据集上对 RoBERTa 和 JobBERT 进行微调，以对比弱监督性能与完全监督基线模型的表现。

实验结果

研究问题

• RQ1 ESCO 分类法能否作为从职位招聘广告中提取技能的有效弱监督信号？
• RQ2 不同嵌入池化策略（ISO、AOC、WSE）如何影响技能提取性能？
• RQ3 使用上下文嵌入（如 RoBERTa、JobBERT）相较于词汇或语言学基线方法，对 F1 分数有何影响？
• RQ4 在包含负样本（即无技能的句子）的数据集（如 SkillSpan）中，与完全正样本数据集（如 Sayfullina）相比，性能受到何种影响？
• RQ5 预测的技能片段在部分匹配与完全匹配方面，与标准答案片段的重叠程度如何？

主要发现

• 使用 ESCO 嵌入的弱监督方法（WSE）在 Sayfullina 数据集上取得了最高的宽松 F1 得分 59.61，优于所有基线方法。
• 在更具挑战性的 SkillSpan 数据集中，使用 WSE 的 JobBERT 达到 52.69 的宽松 F1，优于 RoBERTa（48.70）及其他方法。
• RoBERTa 在 Sayfullina 上取得 91.31 的严格 F1 和 98.55 的宽松 F1，表明其在无负样本的完全正样本数据集上表现极佳。
• JobBERT 在 SkillSpan 上以 74.41 的宽松 F1 表现优于 RoBERTa，表明其在包含负样本的数据集中具有更强的泛化能力。
• 在两个数据集中，严格 F1 与宽松 F1 之间的差距均显著，表明预测片段与标准答案片段之间存在大量部分重叠。
• 在 SkillSpan 上将阈值设为 CosSim = 0.8 时，实现了精确率与召回率的最佳平衡，且 RoBERTa 在此阈值以下性能波动极小。