[论文解读] Testing APSyn against Vector Cosine on Similarity Estimation

Enrico Santus, Emmanuele Chersoni+3 more|arXiv (Cornell University)|Aug 27, 2016

Topic Modeling参考文献 29被引用 5

一句话总结

该论文评估了APSyn这一新颖的相似性度量方法，其通过计算两个词最相关语境的加权交集来衡量词相似性，相较于向量余弦在词相似性估计中表现更优。APSyn在多个标准数据集（WordSim-353、MEN、SimLex-999）上表现优于向量余弦，达到当前最优性能，与词嵌入方法相当，同时对某些偏差更具鲁棒性，并能更有效地衡量真正的语义相似性。

ABSTRACT

In Distributional Semantic Models (DSMs), Vector Cosine is widely used to estimate similarity between word vectors, although this measure was noticed to suffer from several shortcomings. The recent literature has proposed other methods which attempt to mitigate such biases. In this paper, we intend to investigate APSyn, a measure that computes the extent of the intersection between the most associated contexts of two target words, weighting it by context relevance. We evaluated this metric in a similarity estimation task on several popular test sets, and our results show that APSyn is in fact highly competitive, even with respect to the results reported in the literature for word embeddings. On top of it, APSyn addresses some of the weaknesses of Vector Cosine, performing well also on genuine similarity estimation.

研究动机与目标

• 系统评估基于上下文的相似性度量APSyn与广泛使用的向量余弦在词相似性估计中的表现。
• 探究APSyn是否能在多种语料库和模型配置下超越向量余弦。
• 评估APSyn衡量真正语义相似性（而非一般词语相关性）的能力。
• 评估APSyn在大规模语料库（如先前最先进研究中使用的语料库）上的可扩展性。
• 考察APSyn是否能缓解向量余弦已知的偏差，如中心性问题（hubness）以及对共享特征计数处理不佳的问题。

提出的方法

• APSyn通过加权上下文相关性，计算两个目标词最相关上下文之间交集的平均精确率。
• 该方法基于关联得分（如PPMI或LMI）采用阈值法选择每个词的前N个显著上下文。
• 作者训练了28个基于计数的分布语义模型（DSMs），参数包括语料库大小、上下文窗口宽度、加权方案（PPMI、LMI）以及SVD降维维度。
• 在相同DSMs上计算向量余弦以实现直接比较。
• 使用Spearman等级相关系数在标准基准数据集（WordSim-353、MEN、SimLex-999）上评估性能。
• 在大规模28亿词语料库上测试可扩展性，该语料库与Baroni等人（2014）的研究相当，APSyn采用N=1000及2窗口PPMI加权DSM。

实验结果

研究问题

• RQ1 APSyn是否在多个标准词相似性数据集上优于向量余弦？
• RQ2 APSyn是否能在以相似性为重点的基准上实现与当前最先进词嵌入方法相当的性能？
• RQ3 APSyn是否在衡量真正语义相似性方面有效，而非一般词语相关性？
• RQ4 APSyn在大规模语料库上的可扩展性表现如何？
• RQ5 APSyn在多大程度上缓解了向量余弦的已知偏差，如中心性效应或对共享特征处理不佳的问题？

主要发现

• APSyn在所有评估数据集（WordSim-353、MEN、SimLex-999）上，多数模型配置下均优于向量余弦。
• 在SimLex-999数据集上，APSynPPMI达到0.77的Spearman相关系数，优于向量余弦，并与当前最先进词嵌入方法性能相当。
• 最佳APSyn模型在28亿词大规模语料库上，WordSim-353相关系数达0.72，MEN达0.77，优于以往基于计数的模型（分别为0.62和0.72），并接近词嵌入性能。
• 与相关性子集相比，APSyn在WordSim-353的相似性子集上表现出20–30%的性能优势，表明其在衡量真正语义相似性方面能力突出。
• APSyn对中心性问题表现出鲁棒性，但仍与词频存在一定相关性，表明该问题在底层DSMs中依然存在。
• APSyn展现出强大的可扩展性，在大规模语料库上实现高性能，且计算开销无显著增加，适用于实际NLP应用。