[论文解读] Semantic Composition and Decomposition: From Recognition to Generation

Peter D. Turney|arXiv (Cornell University)|May 30, 2014

Natural Language Processing Techniques参考文献 40被引用 10

一句话总结

本文提出一种基于分布语义的两阶段框架，用于生成语义组合与分解，利用大规模语料库中的上下文向量和 WordNet 进行评估。在生成与名词修饰语短语同义的单字词任务中达到 77.8% 的准确率，在生成与单字词同义的短语任务中达到 50.7% 的准确率，表明生成任务比识别任务更具鲁棒性，因其具备开放词汇特性，并可通过无监督优先、有监督第二阶段的优化方法实现可扩展性。

ABSTRACT

Semantic composition is the task of understanding the meaning of text by composing the meanings of the individual words in the text. Semantic decomposition is the task of understanding the meaning of an individual word by decomposing it into various aspects (factors, constituents, components) that are latent in the meaning of the word. We take a distributional approach to semantics, in which a word is represented by a context vector. Much recent work has considered the problem of recognizing compositions and decompositions, but we tackle the more difficult generation problem. For simplicity, we focus on noun-modifier bigrams and noun unigrams. A test for semantic composition is, given context vectors for the noun and modifier in a noun-modifier bigram ("red salmon"), generate a noun unigram that is synonymous with the given bigram ("sockeye"). A test for semantic decomposition is, given a context vector for a noun unigram ("snifter"), generate a noun-modifier bigram that is synonymous with the given unigram ("brandy glass"). With a vocabulary of about 73,000 unigrams from WordNet, there are 73,000 candidate unigram compositions for a bigram and 5,300,000,000 (73,000 squared) candidate bigram decompositions for a unigram. We generate ranked lists of potential solutions in two passes. A fast unsupervised learning algorithm generates an initial list of candidates and then a slower supervised learning algorithm refines the list. We evaluate the candidate solutions by comparing them to WordNet synonym sets. For decomposition (unigram to bigram), the top 100 most highly ranked bigrams include a WordNet synonym of the given unigram 50.7% of the time. For composition (bigram to unigram), the top 100 most highly ranked unigrams include a WordNet synonym of the given bigram 77.8% of the time.

研究动机与目标

• 为解决基于识别的评估在语义组合与分解中的局限性，将重点转向更具挑战性的生成任务。
• 开发一种可扩展的方法，用于从名词修饰语短语生成同义单字词，或从单字词生成同义短语，而无需依赖预定义的候选词列表。
• 评估仅使用语料库资源和基于 WordNet 的资源时，无监督与有监督模型在生成语义等价短语方面的有效性。
• 探究整体训练方法是否足够，还是通过特征工程与分阶段优化能提升开放词汇生成任务中的性能。

提出的方法

• 使用来自 Waterloo 语料库的上下文向量表示词语，词向量基于分布语义和共现模式。
• 采用一种快速的无监督算法（Comp/Decomp）从约 73,000 个 WordNet 单字词中生成初始候选单字词或短语的排序列表。
• 使用一种较慢的有监督算法（Super）对前几项候选结果进行重新评分，利用 681 个特征通过判别式学习提升准确率。
• 在组合任务中（短语 → 单字词），对所有 WordNet 单字词进行评分，作为给定短语的潜在同义词；在分解任务中（单字词 → 短语），对所有单字词进行评分，作为潜在修饰语和核心词，以生成候选短语。
• 将排名靠前的修饰语和核心词组合成 100 万个候选短语，随后使用 Super 重新排序。
• 通过检查正确 WordNet 同义词是否出现在前 100 项结果中来评估性能，以 WordNet 3.0 中的同义词集作为真实标签。

实验结果

研究问题

• RQ1 分布语义模型能否在不依赖预定义候选词列表的情况下，为给定的名词修饰语短语生成一个语义等价的单字词？
• RQ2 分布语义模型能否为给定的单字词生成一个语义等价的短语，从而实现语义分解？
• RQ3 两阶段无监督优先、有监督第二阶段的方法在开放词汇组合与分解生成中的性能，与整体训练方法相比如何？
• RQ4 与组合任务相比，分解任务中更大的搜索空间在多大程度上阻碍了性能表现？

主要发现

• 当正确同义词出现在前 100 项候选结果中时，模型在生成与给定名词修饰语短语同义的单字词任务中达到 77.8% 的准确率。
• 在分解任务中，当正确同义词出现在前 100 项候选结果中时，模型在生成与给定单字词同义的短语任务中达到 50.7% 的准确率。
• 在更严格的单次猜测准则下，模型在组合任务中的准确率为 17.7%，在分解任务中为 5.6%，凸显了开放词汇生成任务的难度。
• 两阶段方法——先无监督后有监督——能够实现可扩展且准确的生成，优于仅基于识别的基线方法，避免了易候选词列表带来的偏差。
• 结果表明，整体训练方法在性能上存在局限，而像 Super 这类特征丰富的有监督模型能够超越它们，尤其是在大规模词汇表上扩展时表现更优。
• 本研究表明，由于每个单字词存在约 53 亿种潜在的短语分解方式，语义分解任务显著比组合任务更具挑战性。