[论文解读] Nine Features in a Random Forest to Learn Taxonomical Semantic Relations

Enrico Santus, Alessandro Lenci+3 more|arXiv (Cornell University)|Mar 29, 2016

Natural Language Processing Techniques参考文献 3被引用 13

一句话总结

本文提出ROOT9，一种监督式随机森林模型，利用九种无监督、基于语料库的特征，对词性类别中的上下位关系、同位关系及随机词对进行分类。其在多分类任务中达到90.7%的F1分数，相较于向量余弦基线最高提升33.4个百分点，展现出在多样化词汇类别中的优异性能与鲁棒性。

ABSTRACT

ROOT9 is a supervised system for the classification of hypernyms, co-hyponyms and random words that is derived from the already introduced ROOT13 (Santus et al., 2016). It relies on a Random Forest algorithm and nine unsupervised corpus-based features. We evaluate it with a 10-fold cross validation on 9,600 pairs, equally distributed among the three classes and involving several Parts-Of-Speech (i.e. adjectives, nouns and verbs). When all the classes are present, ROOT9 achieves an F1 score of 90.7%, against a baseline of 57.2% (vector cosine). When the classification is binary, ROOT9 achieves the following results against the baseline: hypernyms-co-hyponyms 95.7% vs. 69.8%, hypernyms-random 91.8% vs. 64.1% and co-hyponyms-random 97.8% vs. 79.4%. In order to compare the performance with the state-of-the-art, we have also evaluated ROOT9 in subsets of the Weeds et al. (2014) datasets, proving that it is in fact competitive. Finally, we investigated whether the system learns the semantic relation or it simply learns the prototypical hypernyms, as claimed by Levy et al. (2015). The second possibility seems to be the most likely, even though ROOT9 can be trained on negative examples (i.e., switched hypernyms) to drastically reduce this bias.

研究动机与目标

• 开发一种监督式系统，以准确分类跨多个词性的分类语义关系——上下位关系、同位关系及随机词对。
• 在包含9,600对词对的平衡数据集上评估模型性能，三类语义关系类型分布均等。
• 探究模型是否学习了真实的语义关系，而非仅记忆典型上下位关系模式，如先前研究所示。
• 将ROOT9的性能与最先进系统在Weeds等（2014）基准数据集子集上的表现进行比较。

提出的方法

• 系统采用随机森林分类器，基于从分布式词表示中提取的九种无监督、基于语料库的特征进行训练。
• 特征包括分布相似性度量、句法模式及共现统计，全部从大规模文本语料库中计算得出，无需人工标注。
• 模型在9,600对词对上进行训练，上下位关系、同位关系及随机对三类标签分布均衡，并通过10折交叉验证进行评估。
• 为评估泛化能力，模型在Weeds等（2014）数据集的子集上进行测试，从而可与先前最先进系统进行比较。
• 通过使用负样本（即交换的上下位对）对模型进行进一步微调，以减少对典型上下位模式的偏见。
• 性能通过多分类与二分类设置下的F1分数进行衡量。

实验结果

研究问题

• RQ1 是否能够通过使用无监督特征的监督式随机森林模型，有效分类三类分类关系：上下位关系、同位关系及随机词对？
• RQ2 模型的高准确率是否源于学习真实语义关系，还是仅源于记忆典型上下位模式？
• RQ3 ROOT9在标准基准数据集上与现有最先进系统相比表现如何？
• RQ4 在负样本（如交换的上下位对）上进行训练，能在多大程度上减少模型对典型上下位关系的偏见？

主要发现

• 在涵盖三类关系类型的多分类任务中，ROOT9的F1分数达到90.7%，显著优于57.2%的向量余弦基线。
• 在二分类任务中，ROOT9对上下位关系与同位关系的F1分数为95.7%，基线为69.8%。
• 对上下位关系与随机词对的分类，ROOT9的F1分数为91.8%，基线为64.1%。
• 对同位关系与随机词对的分类，ROOT9的F1分数达到97.8%，优于基线的79.4%。
• 在Weeds等（2014）数据集子集上的评估表明，ROOT9与最先进系统具有竞争力。
• 模型表现出强烈学习典型上下位关系的倾向，但通过在负样本（即交换的上下位对）上进行训练，该偏见显著降低。