[论文解读] Syntax-Aware Multi-Sense Word Embeddings for Deep Compositional Models of Meaning

Jianpeng Cheng, Dimitri Kartsaklis|arXiv (Cornell University)|Aug 10, 2015

Topic Modeling被引用 10

一句话总结

本文提出了一种语法感知的多义词嵌入框架，与深度组合模型联合训练，以提升句子级语义表示。通过在组合过程中动态消歧词义，并利用改进的合页损失注入句法角色信息，该模型在MSRPar释义检测任务上达到最先进性能，集成后准确率达到78.6%，优于先前方法。

ABSTRACT

Deep compositional models of meaning acting on distributional representations of words in order to produce vectors of larger text constituents are evolving to a popular area of NLP research. We detail a compositional distributional framework based on a rich form of word embeddings that aims at facilitating the interactions between words in the context of a sentence. Embeddings and composition layers are jointly learned against a generic objective that enhances the vectors with syntactic information from the surrounding context. Furthermore, each word is associated with a number of senses, the most plausible of which is selected dynamically during the composition process. We evaluate the produced vectors qualitatively and quantitatively with positive results. At the sentence level, the effectiveness of the framework is demonstrated on the MSRPar task, for which we report results within the state-of-the-art range.

研究动机与目标

• 通过将句法信息和词义特异性信息整合到词嵌入中，改进深度组合模型的语义表示。
• 通过在组合过程中动态选择词义，解决短语和句子表示中的数据稀疏性和词汇歧义问题。
• 开发一种通用的、与任务无关的预训练词嵌入框架，捕捉超越特定任务数据的丰富语言特征。
• 在词汇相似性与句子级任务上评估该框架的有效性，特别是释义检测任务。
• 展示孪生网络架构与动态消歧结合在句子分类中的优势。

提出的方法

• 使用改进的合页损失联合训练词嵌入与组合模型，该损失可同时预测上下文中的词出现与句法位置。
• 引入多义词嵌入，其中每个词关联多个词义向量，并在组合过程中动态选择最合理的词义。
• 采用循环神经网络（RecNN）与最大池化RNN进行句子编码，实现词向量的分层组合。
• 在释义检测任务中应用孪生网络比较句子对，利用学习到的句子表示。
• 使用任务特定数据微调联合模型，包括动态消歧与额外手工设计的特征（如句长、一元语法重叠、数字存在性）。
• 将神经分类器与在手工特征上训练的逻辑回归模型进行集成，以进一步提升性能。

实验结果

研究问题

• RQ1 语法感知的多义词嵌入能否提升深度组合模型在句子级任务上的性能？
• RQ2 在组合过程中进行动态词义消歧是否能带来优于静态或模糊嵌入的句子表示？
• RQ3 联合训练的通用词嵌入空间能否作为下游NLP任务的高质量语义基础？
• RQ4 将句法角色信息融入词嵌入在多大程度上能增强组合语义建模能力？
• RQ5 与标准分类器相比，孪生网络架构结合动态消歧在释义检测中的有效性如何？

主要发现

• 该模型在MSRPar释义检测任务上达到78.6%的准确率，为迄今报告的第二好结果，优于先前最先进方法。
• 在RecNN+池化模型上，加入基于手工特征的逻辑回归分类器使F1分数提升1%，达到85.3%。
• 在通用语料上进行预训练的模型显著优于从随机初始化直接进行端到端训练的模型，证明了预训练语言特征的价值。
• 所提出的框架在斯坦福上下文词相似性（SCWS）数据集上也表现出具有竞争力的性能，表明所学词嵌入作为通用语义空间的质量。
• 动态消歧显著提升了性能，尤其在深层架构中表现更优，证实其在组合过程中缓解词汇歧义的关键作用。
• 孪生网络架构在释义检测中表现有效，为传统分类器方法提供了强有力的替代方案。