[论文解读] Prepositions in Context

Hongyu Gong, Jiaqi Mu+2 more|arXiv (Cornell University)|Feb 5, 2017

Natural Language Processing Techniques参考文献 33被引用 3

一句话总结

本文提出了一种与资源无关的介词义项消歧（PSD）方法，利用介词周围的词向量几何结构对上下文特征进行聚类，在SemEval 2007和OEC数据集上实现了最先进性能。该方法进一步学习了义项特定的介词嵌入，能够捕捉语义关系，并通过简单的向量运算实现短语动词的释义。

ABSTRACT

Prepositions are highly polysemous, and their variegated senses encode significant semantic information. In this paper we match each preposition's complement and attachment and their interplay crucially to the geometry of the word vectors to the left and right of the preposition. Extracting such features from the vast number of instances of each preposition and clustering them makes for an efficient preposition sense disambigution (PSD) algorithm, which is comparable to and better than state-of-the-art on two benchmark datasets. Our reliance on no external linguistic resource allows us to scale the PSD algorithm to a large WikiCorpus and learn sense-specific preposition representations -- which we show to encode semantic relations and paraphrasing of verb particle compounds, via simple vector operations.

研究动机与目标

• 开发一种不依赖外部语言工具（如依存句法分析器或词性标注器）的介词义项消歧（PSD）算法。
• 探究是否能通过词向量几何结构提取的上下文相关特征有效捕捉介词语义多义性并实现义项聚类。
• 利用大规模语料库，基于消歧结果学习义项特定的介词表示，并评估其在捕捉语义关系方面的效用。
• 探究义项特定的介词嵌入是否可通过简单的向量运算提升短语动词的释义能力。
• 在内在评估任务中验证义项特定表示的有效性，并与单义全局表示进行比较。

提出的方法

• 使用介词左侧和右侧的词向量提取每个介词实例的上下文特征，为每个出现实例形成特征向量（ℓ, r）。
• 对提取的（ℓ, r）特征使用k-means聚类，将实例分组为义项簇，实现无监督PSD。
• 对于有监督学习，使用带义项标签的（ℓ, r）特征训练SVM或MLP，并使用加权k-NN分析特征重要性。
• 利用消歧后的义项标签，通过Word2Vec重新训练介词嵌入，但将上下文窗口缩小至以介词为中心。
• 应用简单的加法组合模型（例如，'in' + 'America' ≈ 'American'）测试义项特定嵌入是否编码了语义关系。
• 使用VPC（动词短语复合词）数据集通过比较短语动词与其释义之间的向量相似性，评估释义性能。

实验结果

研究问题

• RQ1 是否仅通过词向量几何结构而无需外部语言资源，就能有效实现介词义项消歧？
• RQ2 介词的左、右上下文向量在义项区分中分别起到什么作用？哪些组合（ℓ, r, ℓ+r等）能取得最佳性能？
• RQ3 义项特定的介词嵌入是否在语义关系捕捉上优于全局嵌入，这能否通过类比推理任务得到验证？
• RQ4 义项特定的介词嵌入是否可用于通过简单向量加法生成短语动词的释义？
• RQ5 义项粒度和训练数据质量对义项特定介词表示性能有何影响？

主要发现

• 所提出的无监督PSD方法在SemEval 2007数据集上取得了0.584的准确率，超越了最先进方法（0.56），并优于依赖语言工具的先前方法。
• 在OEC数据集上，使用（ℓ, r, i）特征的有监督模型在MLP上达到0.351的准确率，显著优于基线模型，证明了集成上下文特征的价值。
• 义项特定的介词嵌入成功捕捉了类比关系 'in' + 'America' ≈ 'American'，而全局介词嵌入则未能实现这一关系。
• 使用义项特定的'for'嵌入，模型将'defend'作为'fight for'的前三名释义之一，而全局或单义表示未能实现此结果。
• 加权k-NN分析显示，'behind'、'to'和'with'等介词更受其依附动词的影响，而'during'和'on'则更多依赖于其补语。
• 在内在评估中，义项特定表示显著优于单义表示，证实了其编码更丰富语义内容的能力。