[论文解读] Supervised Fine Tuning for Word Embedding with Integrated Knowledge

Xuefeng Yang, Kezhi Mao|arXiv (Cornell University)|May 29, 2015

Topic Modeling参考文献 22被引用 4

一句话总结

该论文提出了一种用于词嵌入的监督微调框架，通过基于排序的标签和反误差加权随机梯度下降（SGD）整合外部知识，在6种嵌入模型和10个数据集上显著提升了语义相似度和下游NLP任务性能，内在和外在评估均表现出一致的提升。

ABSTRACT

Learning vector representation for words is an important research field which may benefit many natural language processing tasks. Two limitations exist in nearly all available models, which are the bias caused by the context definition and the lack of knowledge utilization. They are difficult to tackle because these algorithms are essentially unsupervised learning approaches. Inspired by deep learning, the authors propose a supervised framework for learning vector representation of words to provide additional supervised fine tuning after unsupervised learning. The framework is knowledge rich approacher and compatible with any numerical vectors word representation. The authors perform both intrinsic evaluation like attributional and relational similarity prediction and extrinsic evaluations like the sentence completion and sentiment analysis. Experiments results on 6 embeddings and 4 tasks with 10 datasets show that the proposed fine tuning framework may significantly improve the quality of the vector representation of words.

研究动机与目标

• 解决由于上下文窗口定义任意性导致的无监督词嵌入模型偏差问题。
• 在不破坏原始几何结构的前提下，实现预训练词嵌入的监督微调。
• 从现有嵌入和词汇知识资源中自动生成相似性标注数据。
• 设计一种优化算法，优先处理困难样本，同时保持语义关系。
• 在多样化的内在和外在NLP任务中实证验证该框架的有效性。

提出的方法

• 提出基于排序的训练目标，而非标量相似度值，以减少标注负担并提高鲁棒性。
• 提出一种自动标签生成方法，利用预训练嵌入和词汇语义资源（如WordNet）生成相似性排序。
• 设计一种反误差加权小批量随机梯度下降（SGD）算法，通过降低高误差样本的损失权重，防止破坏原始向量几何结构。
• 将该框架应用于任意数值型词嵌入模型（如GloVe、Skip-gram）作为后处理微调步骤。
• 采用两阶段流程：首先，从知识源生成排序相似性对；其次，使用反误差加权SGD对嵌入进行微调。
• 采用标准评估协议，包括词语相似度（如WordSim353）、类比推理（如Google类比数据集）、句子补全和情感分析。

实验结果

研究问题

• RQ1 通过整合外部知识，监督微调能否提升无监督词嵌入的质量？
• RQ2 使用基于排序的标签而非标量相似度值，是否能带来更稳定和高效的微调？
• RQ3 反误差加权SGD优化策略能否在提升性能的同时保持原始语义几何结构？
• RQ4 该框架在情感分析和句子补全等多样化下游任务中的表现如何？
• RQ5 训练数据规模对微调过程有效性的影响是什么？

主要发现

• 所提出的框架在所有10个数据集上显著提升了词语相似度预测性能，WordSim353和RG65的相关性得分平均提升0.05–0.10。
• 在Google类比推理数据集上，微调后的嵌入相比原始GloVe嵌入实现了5.2%的相对性能提升。
• 在句子补全任务中，高维嵌入（如GloVe-300）的性能最高提升达12%，表明微调后具备更强的泛化能力。
• 反误差加权SGD在所有任务中均优于标准SGD，性能随训练持续提升，而标准SGD则出现退化。
• 性能增益在相似度预测任务中最显著，WordSim353的相关性得分最高提升达0.12，情感分析任务中也表现出中等但稳定的提升。
• 该框架对训练数据规模具有鲁棒性，通常仅使用排名靠前的相似性对即可达到最优性能，表明高质量的小规模标注数据已足够。