[论文解读] Representing Meaning with a Combination of Logical and Distributional Models

Islam Beltagy, Stephen Roller+3 more|arXiv (Cornell University)|May 26, 2015

Topic Modeling参考文献 92被引用 5

一句话总结

本文提出了一种混合语义框架，通过马尔可夫逻辑网络（MLNs）将逻辑语义与分布语义相结合，以提升文本蕴含识别能力。该系统通过结合一阶逻辑进行结构化推理与分布语义表示以捕捉程度相似性，在 SICK 数据集上实现了最先进性能（85.1% 准确率），同时发布了包含 10,213 条规则的新词汇蕴含数据集。

ABSTRACT

NLP tasks differ in the semantic information they require, and at this time no single se- mantic representation fulfills all requirements. Logic-based representations characterize sentence structure, but do not capture the graded aspect of meaning. Distributional models give graded similarity ratings for words and phrases, but do not capture sentence structure in the same detail as logic-based approaches. So it has been argued that the two are complementary. We adopt a hybrid approach that combines logic-based and distributional semantics through probabilistic logic inference in Markov Logic Networks (MLNs). In this paper, we focus on the three components of a practical system integrating logical and distributional models: 1) Parsing and task representation is the logic-based part where input problems are represented in probabilistic logic. This is quite different from representing them in standard first-order logic. 2) For knowledge base construction we form weighted inference rules. We integrate and compare distributional information with other sources, notably WordNet and an existing paraphrase collection. In particular, we use our system to evaluate distributional lexical entailment approaches. We use a variant of Robinson resolution to determine the necessary inference rules. More sources can easily be added by mapping them to logical rules; our system learns a resource-specific weight that corrects for scaling differences between resources. 3) In discussing probabilistic inference, we show how to solve the inference problems efficiently. To evaluate our approach, we use the task of textual entailment (RTE), which can utilize the strengths of both logic-based and distributional representations. In particular we focus on the SICK dataset, where we achieve state-of-the-art results.

研究动机与目标

• 为解决纯逻辑或纯分布语义模型的局限性，这些模型无法同时捕捉句子结构与程度化的语义。
• 开发一种统一框架，支持自动化推理，同时整合词汇相似性与近义关系。
• 实现在结合逻辑与分布知识的基础上，高效且可扩展的概率推理。
• 在需要深层语义理解的文本蕴含任务上评估系统性能。
• 发布一个全新的大规模词汇蕴含数据集，以支持未来研究。

提出的方法

• 使用覆盖范围广泛的语义解析器（Boxer）将输入句子表示为一阶逻辑公式，以实现深度句法与语义分析。
• 通过整合分布相似性（如词嵌入）与外部资源（如 WordNet 和释义数据库 PPDB）构建知识库。
• 采用概率逻辑——特别是马尔可夫逻辑网络（MLNs）——将逻辑规则与分布权重结合，实现程度化推理。
• 训练一个有监督的蕴含规则分类器（eclassif），从分布特征中识别词汇蕴含关系。
• 通过 MLN 中的加权模型计数执行推理，以高效计算蕴含概率。
• 利用上下文感知的分布表示检测上下文敏感的蕴含关系（例如，液体语境中“poured”与“put”的区别）。

实验结果

研究问题

• RQ1 结合逻辑与分布语义的混合系统是否能在文本蕴含任务中超越纯逻辑或纯分布语义模型？
• RQ2 分布相似性在多大程度上可以替代大规模释义数据库（如 PPDB）？
• RQ3 分布特征在多大程度上能检测出静态词向量无法捕捉的上下文敏感词汇蕴含关系？
• RQ4 概率逻辑能否以可扩展且可解释的方式，将程度化的词汇相似性与结构化推理相结合？
• RQ5 如何利用分布相似性推断未知术语的层级关系（如上下位关系）？

主要发现

• 该系统在 SICK 文本蕴含测试集上实现了 85.1% 的最先进准确率，优于先前方法。
• 仅使用分布特征，特别是余弦相似度，已能捕捉大量词汇蕴含关系，几乎完全替代了 PPDB 释义数据库的大部分内容。
• 蕴含规则分类器（eclassif）在实现高性能方面发挥了关键作用，尤其在识别细微词汇蕴含关系方面表现突出。
• 在系统中加入 WordNet（wn）后准确率略有下降，表明对词汇层级结构的过度依赖可能引入噪声。
• 上下文感知的分布表示在识别特定情境下的蕴含关系（如“push”与“knock”在特定场景中的区别）方面展现出潜力。
• 该系统表现出良好的模块化与可扩展性，通过概率逻辑可进一步拓展至问答系统与广义量词处理。