[论文解读] Semantic Composition via Probabilistic Model Theory

Guy Emerson, Ann Copestake|arXiv (Cornell University)|Sep 1, 2017

Topic Modeling参考文献 52被引用 6

一句话总结

本文提出了一种概率图模型框架，将功能性分布语义学解释为模型理论的概率版本，从而实现上下文敏感的语义组合与推理。通过在贝叶斯网络中将谓词建模为函数，该方法在语义相似度和关系子句组合任务上表现更优，在处理词汇混淆因子方面优于向量空间模型，同时捕捉到独特且互补的信息。

ABSTRACT

Semantic composition remains an open problem for vector space models of semantics. In this paper, we explain how the probabilistic graphical model used in the framework of Functional Distributional Semantics can be interpreted as a probabilistic version of model theory. Building on this, we explain how various semantic phenomena can be recast in terms of conditional probabilities in the graphical model. This connection between formal semantics and machine learning is helpful in both directions: it gives us an explicit mechanism for modelling context-dependent meanings (a challenge for formal semantics), and also gives us well-motivated techniques for composing distributed representations (a challenge for distributional semantics). We present results on two datasets that go beyond word similarity, showing how these semantically-motivated techniques improve on the performance of vector models.

研究动机与目标

• 为解决向量空间模型中语义组合的挑战，其中分布式表示缺乏自然的推理与上下文依赖操作。
• 通过将概率图模型解释为模型理论的概率版本，弥合形式语义学与分布语义学之间的鸿沟。
• 开发一种支持上下文依赖语义、逻辑推理以及超越词汇相似度的组合语义的框架。
• 在多样化的语义任务上评估该模型，包括动词相似度与关系子句理解，证明其相对于向量空间基线模型的优势。

提出的方法

• 将每个谓词表示为概率图模型中的函数，其中语义角色被建模为贝叶斯网络中的随机变量（pixies）。
• 使用条件概率分布来建模意义如何依赖于上下文，通过均场推理实现上下文敏感的表示。
• 将语义函数应用于上下文化的均场向量，以计算谓词在给定情境下为真的概率。
• 通过集成学习将该模型与向量空间模型结合，以利用其在捕捉相关性与逻辑结构方面的互补优势。
• 将模型对三元组中的所有三个谓词（例如，主语-动词-宾语）进行条件化，通过双向概率乘积计算对称相似度得分。
• 利用该模型解释广义量词，并通过图模型中的结构对齐处理句法变化（例如，主语与宾语关系子句）

实验结果

研究问题

• RQ1 能否将概率图模型解释为语义学中形式化概率版本的模型理论？
• RQ2 如何在分布框架内自然地建模与组合上下文依赖的语义？
• RQ3 该方法是否能在超越词汇相似度的任务上提升性能，例如动词相似度与关系子句理解？
• RQ4 该模型是否捕捉到与向量空间模型不同的语义信息，其证据来自集成模型的性能提升？
• RQ5 该模型能否通过结构建模处理逻辑现象，如广义量词与句法变化（例如，主动与被动语态）？

主要发现

• 该模型在 Grefenstette 和 Sadrzadeh（2011）的动词相似度数据集上达到 .25 的斯皮尔曼等级相关系数，与最佳基线模型持平。
• 集成模型达到 .32 的相关系数，与 Grefenstette 等人（2013）改进后的模型相当，尽管训练数据更少。
• 集成模型优于两个独立模型，表明它们学习到了独特且互补的信息，而不仅仅是模型规模带来的优势。
• 在 RELPRON 数据集上，集成模型成功将 27 个词汇混淆因子中的 9 个移出前 10 名，减少了由文本重叠引发的误报。
• 该模型在不牺牲整体排名准确性的前提下提升了对混淆因子的处理能力，证明其对虚假词汇线索具有鲁棒性。
• 该框架通过将逻辑结构嵌入概率模型，自然地支持推理与组合，能够解释广义量词与句法变化。