[论文解读] Using Sentence Plausibility to Learn the Semantics of Transitive Verbs

Tamara Polajnar, Laura Rimell+1 more|arXiv (Cornell University)|Nov 28, 2014

Topic Modeling参考文献 15被引用 10

一句话总结

本文提出使用基于句子合理性判断的逻辑回归来学习组合分布语义中的及物动词矩阵，表明该方法在动词消歧任务上优于传统分布语义方法，而分布语义方法在句子相似度任务上仍更优。关键贡献在于证明了基于合理性的训练能通过敏感捕捉语义不合理性，从而获得更有效的动词表征。

ABSTRACT

The functional approach to compositional distributional semantics considers transitive verbs to be linear maps that transform the distributional vectors representing nouns into a vector representing a sentence. We conduct an initial investigation that uses a matrix consisting of the parameters of a logistic regression classifier trained on a plausibility task as a transitive verb function. We compare our method to a commonly used corpus-based method for constructing a verb matrix and find that the plausibility training may be more effective for disambiguation tasks.

研究动机与目标

• 探究是否可利用句子合理性来学习组合分布语义中更有效的及物动词表征。
• 比较基于合理性的训练（逻辑回归）与基于语料库的分布语义方法在学习动词矩阵方面的性能。
• 评估训练数据构成的影响——特别是仅使用正例与同时包含负例时——对动词表征质量的影响。
• 确定基于合理性的句子空间是否更适合消歧任务，而基于主题的句子空间是否更适合句子相似度任务。

提出的方法

• 通过在合理性分类任务上进行逻辑回归来学习动词矩阵，其中输入为主语-宾语名词向量，输出为标量合理性得分。
• 模型使用矩阵乘积的sigmoid变换 $ \sigma(\mathbf{s}^T \mathbf{V} \mathbf{o}) $，采用均方误差和L2正则化进行训练。
• 一种变体，即'回归-正例'（reg+），仅使用正例（合理的）训练样本，类似于分布语义基线方法，但使用相同的合理性目标进行训练。
• 动词矩阵 $ \mathbf{V} $ 用作线性映射，将主语和宾语向量组合为句子表征，遵循组合分布语义的功能方法。
• 名词向量源自维基百科共现矩阵，并通过奇异值分解（SVD）降维至低维上下文空间。
• 评估了三种组合方法——余弦相似度、Frobenius加法和关系组合——以分析其与不同动词矩阵学习方法的交互作用。

实验结果

研究问题

• RQ1 在动词消歧任务中，基于句子合理性的动词矩阵训练是否优于基于共现频率的分布语义方法？
• RQ2 与仅使用合理（正例）样本相比，训练中包含不合理（负例）样本是否能提升动词表征质量？
• RQ3 在消歧任务中，基于合理性的句子空间是否比基于主题的名词空间更有效？反之，在句子相似度任务中是否相反？
• RQ4 名词向量的维度在多大程度上影响所提出的基于合理性的方法的性能？
• RQ5 基于回归的动词矩阵学习方法是否能在泛化能力和消歧准确率方面优于标准分布语义方法？

主要发现

• 基于合理性的回归方法（reg）在动词消歧任务上优于分布语义方法（dist），在GS2011和KS2013数据集上均取得更高的Spearman等级相关系数。
• 在GS2011数据集上，reg使用关系组合方法达到0.33的Spearman相关系数，显著优于dist的0.27。
• 在KS2013数据集上，reg使用关系组合方法达到0.31的相关系数，而dist为0.25，表明其在消歧任务中具有持续优势。
• 在句子相似度任务中，分布语义方法（dist）表现优于reg，尤其在中高相似度样本对（如'project present problem'与'programme face difficulty'）上表现更优。
• 回归-正例变体（reg+）的性能更接近dist而非reg，表明负例的引入对基于合理性的学习至关重要。
• 20维名词向量已达到合理性能，表明低维表征在该框架下适用于功能组合，且具备高效性。