[论文解读] Task-Oriented Learning of Word Embeddings for Semantic Relation Classification

Kazuma Hashimoto, Pontus Stenetorp+2 more|arXiv (Cornell University)|Feb 28, 2015

Topic Modeling参考文献 24被引用 13

一句话总结

本文提出了一种面向任务的词嵌入方法，用于语义关系分类，通过在无标注语料上使用关系特定的词汇特征来训练嵌入模型，以预测名词对之间的词语。该方法显著优于基于 word2vec 的基线模型，并在不依赖句法分析或外部资源的情况下达到当前最优模型的性能，证明了任务特定预训练可提升下游分类任务的性能。

ABSTRACT

We present a novel learning method for word embeddings designed for relation classification. Our word embeddings are trained by predicting words between noun pairs using lexical relation-specific features on a large unlabeled corpus. This allows us to explicitly incorporate relation-specific information into the word embeddings. The learned word embeddings are then used to construct feature vectors for a relation classification model. On a well-established semantic relation classification task, our method significantly outperforms a baseline based on a previously introduced word embedding method, and compares favorably to previous state-of-the-art models that use syntactic information or manually constructed external resources.

研究动机与目标

• 开发一种专为语义关系分类优化的词嵌入方法，超越通用嵌入模型如 word2vec。
• 在无需标注训练数据或句法分析的前提下，将关系特定的词汇特征融入词嵌入中。
• 评估在无标注语料上进行任务特定预训练是否能提升语义关系分类任务的性能。
• 探究学习到的嵌入是否能捕捉与关系类型相关的有意义句法和语义模式。

提出的方法

• 通过使用关系特定的词汇特征作为上下文，训练词嵌入以预测句子中名词对之间的词语。
• 使用具有共享嵌入层的神经网络，学习名词对之间词语的上下文感知表示。
• 通过组合名词对内部、之前和之后词语的嵌入，构建用于分类的特征向量。
• 在监督训练过程中应用 dropout 正则化，以防止过拟合。
• 通过学习的矩阵 S 实现类似注意力的加权机制，识别每个关系类别中的显著 n-gram。
• 利用名词特定嵌入（N）和标准词嵌入（W）以改进语义相似性建模。

实验结果

研究问题

• RQ1 在特定任务的预测目标（即预测名词对之间的词语）上训练词嵌入，是否能提升语义关系分类的性能？
• RQ2 与通用嵌入模型如 word2vec 相比，该任务优化嵌入在此任务上的性能如何？
• RQ3 学习到的嵌入在多大程度上捕捉了与语义关系类型相关的句法模式？
• RQ4 是否仅基于词汇特征和无标注文本的模型能超越使用句法分析或外部语义资源的模型？

主要发现

• 在 SemEval-2010 任务 8 数据集上，使用 10 折交叉验证，该方法取得了 82.2% 的 F1 分数，显著优于基于 word2vec 的基线模型。
• 平均 n-gram 嵌入（g_in）对性能贡献最大，相比使用平均嵌入的简单词袋基线模型，性能提升了 1.5%。
• 名词特定嵌入（N）在 WordSim-353 相似性任务上的斯皮尔曼等级相关系数达到 0.61，与 word2vec 相当，表明其语义捕捉能力得到增强。
• 定性分析表明，学习到的 n-gram 嵌入捕捉了与特定关系类别强相关的关键句法模式，如 'caused by' 或 'due to'。
• Dropout 正则化提升了泛化能力，使训练集上的 F1 分数从 81.3% 提升至 82.2%。