[论文解读] What a Nerd! Beating Students and Vector Cosine in the ESL and TOEFL Datasets

Enrico Santus, Tin-Shing Chiu+3 more|arXiv (Cornell University)|Mar 29, 2016

Topic Modeling参考文献 4被引用 9

一句话总结

该论文提出了APSyn，一种新颖的无监督词相似度度量方法，通过评估两个目标词共享的最相关语境的排序交集，其性能优于向量余弦和共现统计方法。在ESL和TOEFL数据集上，APSyn分别取得了73%和70%的准确率，超过了人类表现（64.5%）以及最先进方法。

ABSTRACT

In this paper, we claim that Vector Cosine, which is generally considered one of the most efficient unsupervised measures for identifying word similarity in Vector Space Models, can be outperformed by a completely unsupervised measure that evaluates the extent of the intersection among the most associated contexts of two target words, weighting such intersection according to the rank of the shared contexts in the dependency ranked lists. This claim comes from the hypothesis that similar words do not simply occur in similar contexts, but they share a larger portion of their most relevant contexts compared to other related words. To prove it, we describe and evaluate APSyn, a variant of Average Precision that, independently of the adopted parameters, outperforms the Vector Cosine and the co-occurrence on the ESL and TOEFL test sets. In the best setting, APSyn reaches 0.73 accuracy on the ESL dataset and 0.70 accuracy in the TOEFL dataset, beating therefore the non-English US college applicants (whose average, as reported in the literature, is 64.50%) and several state-of-the-art approaches.

研究动机与目标

• 探究是否可以通过最相关语境的重叠而非向量余弦相似度更好地捕捉词相似度。
• 开发一种利用排序依存语境的无监督度量方法，以提升词相似度预测性能。
• 在标准基准数据集（ESL和TOEFL）上评估所提出方法，其中人类表现是关键基线。
• 证明基于排名加权的语境交集方法在性能上优于传统的基于向量和共现的方法。

提出的方法

• APSyn通过测量两个目标词的最相关语境（来自依存句法排序列表）之间的交集来计算词相似度。
• 该方法根据语境在依存句法列表中的排名对共享语境进行加权，使更频繁出现且排名靠前的共享语境获得更高权重。
• 它是平均精度（AP）的一种变体，被调整用于比较词语境，且无需标注数据。
• 该方法完全在无监督设置下运行，仅依赖依存句法分析和语境频率排序。
• 使用标准准确率指标在ESL和TOEFL词相似度数据集上对模型进行评估。

实验结果

研究问题

• RQ1 基于最相关语境交集的度量方法是否能在词相似度任务中优于向量余弦？
• RQ2 根据依存句法列表中语境的排名对共享语境进行加权，是否能提升相似度估计性能？
• RQ3 无监督方法是否能在标准化词相似度基准测试中超越人类表现？
• RQ4 在ESL和TOEFL数据集上，APSyn与共现方法和向量余弦方法相比，准确率如何？

主要发现

• 在ESL数据集上，APSyn取得了73%的准确率，显著优于64.5%的人类基线表现。
• 在TOEFL数据集上，APSyn达到70%的准确率，超过人类表现及多种最先进方法。
• 该方法在两个数据集上均持续优于向量余弦和基于共现的度量方法。
• APSyn的最佳设置表现出对超参数调优的鲁棒性。