[论文解读] Reasoning about Unmodelled Concepts - Incorporating Class Taxonomies in Probabilistic Relational Models

Daniel Nyga, Michael Beetz|arXiv (Cornell University)|Apr 21, 2015

Semantic Web and Ontologies参考文献 5被引用 7

一句话总结

本文提出 Fuzzy-MLNs，一种通过在类别分类体系上引入模糊推理来扩展马尔可夫逻辑网络的框架，以实现概率分布的紧凑表示，并对未建模（离域）概念进行推理。通过基于语义相似度为 is-a 关系分配实数值真值度，Fuzzy-MLNs 能够从稀疏训练数据中有效泛化，在处理未见概念方面优于标准 MLN。

ABSTRACT

A key problem in the application of first-order probabilistic methods is the enormous size of graphical models they imply. The size results from the possible worlds that can be generated by a domain of objects and relations. One of the reasons for this explosion is that so far the approaches do not sufficiently exploit the structure and similarity of possible worlds in order to encode the models more compactly. We propose fuzzy inference in Markov logic networks, which enables the use of taxonomic knowledge as a source of imposing structure onto possible worlds. We show that by exploiting this structure, probability distributions can be represented more compactly and that the reasoning systems become capable of reasoning about concepts not contained in the probabilistic knowledge base.

研究动机与目标

• 为解决一阶概率模型中的可扩展性与紧凑性问题，即对所有可能世界进行完整枚举会导致模型规模不可行。
• 实现在概率知识库中未显式表示的概念（即离域推理）的推理能力，而无需对所有可能概念进行详尽建模。
• 利用预存在的分类知识（如 WordNet）中的语义相似度，从稀疏训练数据中泛化，以降低学习与推理的复杂度。
• 在保持与标准 MLN 形式兼容的同时，引入一种灵活机制，通过模糊真值度处理模糊或不完整证据。
• 证明在数据稀疏条件下，基于分类体系的模糊推理能够实现稳健泛化，适用于如词义消歧等真实世界 NLP 任务。

提出的方法

• Fuzzy-MLNs 通过基于概念间语义相似度，将标准马尔可夫逻辑网络中的清晰 is-a 关系替换为模糊的实数值真值度，从而实现扩展。
• 通过预存在的分类体系（如 WordNet）中派生的语义相似度度量，计算未见概念与已知概念之间 is-a 断言的真值度。
• 在推理过程中，概率分布基于训练数据中已知概念进行条件化，而离域概念则通过相似度加权推理在模糊分类体系上传播证据进行推理。
• 该框架保留原始 MLN 的结构与学习过程，仅修改逻辑原子的解释方式，允许使用分级真值而非二元真值。
• 在学习与推理两个阶段均应用模糊推理，使系统能够基于与已知概念的相似度，为包含未见概念的可能世界分配非零概率。
• 该方法依赖于固定且外部的分类体系（如 WordNet）作为事实知识，避免在概率 KB 中建模整个层级结构。

实验结果

研究问题

• RQ1 通过利用分类体系中的语义相似度，概率关系模型能否对训练数据中不存在的概念实现泛化？
• RQ2 对类别层级的模糊推理在多大程度上能提升一阶概率模型的紧凑性与可扩展性？
• RQ3 基于语义相似度的模糊推理在词义消歧任务中，对稀疏训练数据的泛化能力提升程度如何？
• RQ4 在训练数据有限的情况下，Fuzzy-MLNs 是否能在涉及离域概念的推理任务中优于标准 MLN？
• RQ5 为 is-a 关系使用实数值真值度相比二元或硬性约束，如何提升推理的鲁棒性？

主要发现

• 在稀疏训练数据上测试时，Fuzzy-MLNs 在词义消歧任务中显著优于标准 MLN，尤其当测试集中出现未见概念时。
• 当数据极度稀疏时，Fuzzy-MLNs 的性能提升最为显著，此时经典 MLN 因缺乏未见概念的证据而完全失效。
• Fuzzy-MLNs 通过利用分类体系中已知概念的语义相似度，实现了对概率知识库中未显式表示概念的有意义推理。
• 该框架通过仅建模训练数据中存在的概念，实现了紧凑的模型表示，同时仍支持在更广泛分类体系上的推理。
• Fuzzy-MLNs 展现出强大的泛化能力，随着训练数据日益稀疏，性能出现显著跃升，证实其在开放世界推理中的实用性。
• 该方法成功将知识从已知概念迁移至语义相似的未见概念，与人类类比推理方式一致。