[论文解读] Using Information Content to Evaluate Semantic Similarity in a Taxonomy

Philip Resnik|ArXiv.org|Nov 29, 1995

Topic Modeling参考文献 18被引用 2,149

一句话总结

本文提出了一种基于信息内容的在同类层级taxonomy中语义相似性度量，並将其与人工判断进行对比，并与边计数及其他基线方法进行比较。它显示出相对于边计数的显著改进，但也讨论了局限性和扩展。

ABSTRACT

This paper presents a new measure of semantic similarity in an IS-A taxonomy, based on the notion of information content. Experimental evaluation suggests that the measure performs encouragingly well (a correlation of r = 0.79 with a benchmark set of human similarity judgments, with an upper bound of r = 0.90 for human subjects performing the same task), and significantly better than the traditional edge counting approach (r = 0.66).

研究动机与目标

• 激励开发一个鲁棒、具上下文敏感性的本体层级间语义相似性度量，超越简单的边计数。
• 使用 taxonomy 中概念的概率定义一个信息理论意义上的相似性度量。
• 将该度量与人工相似性判断进行比较评估，并将其与基线方法进行基准对比。

提出的方法

• 基于语料频率为每个概念 c 增强一个概率函数 p(c)，并将其加入本体。
• 将信息内容定义为 -log p(c)，将相似性定义为两概念（及词语）共有上位概念的最大信息内容。
• 对于词语，通过对所有意义对 w1 ∈ s(w1) 与 w2 ∈ s(w2) 取最大值来计算相似性。
• 与基于边的相似性及基于 p(c) 的相似性进行比较，评估指标采用与人工判断的相关性。

实验结果

研究问题

• RQ1 在 is-a 本体中，基于信息内容的语义相似性度量是否能与人类对词语相似性的判断相关？
• RQ2 信息内容方法在性能上与边计数及其他基线相比如何？
• RQ3 单一意义的最大信息量摘要有哪些局限性，是否可以通过多意义加权方法来缓解？

主要发现

• 信息内容相似性与人工判断的相关性达到 0.7911，优于边计数（0.6645）和基于 p(c) 的相似性（0.6671）。
• 边计数与人工判断的对齐程度显著低于信息内容方法。
• 对人类参与者进行的重复实验在同一任务上的相关性上限约为 0.90。
• 一个已注意到的局限性是由于不当的语义导致的伪高相似性，促成了多意义加权扩展（Eq. 8）。