[论文解读] The Role of Conceptual Relations in Word Sense Disambiguation

David Fernández-Amorós, Julio Gonzalo+1 more|ArXiv.org|Jul 3, 2001

Natural Language Processing Techniques参考文献 13被引用 13

一句话总结

本文提出了一种基于 WordNet 中概念关系的增强型词义消歧（WSD）系统，采用广义化、参数化的 Agirre-Rigau 概念密度度量方法。在对超过 50 种配置进行详尽评估后，最佳系统相比原始算法提升了 42% 的性能，并在召回率上比基于 Lesk 的共现方法高出 14%，表明概念关系是 WSD 的有力指标，尤其在非小说类文本中表现突出。

ABSTRACT

We explore many ways of using conceptual distance measures in Word Sense Disambiguation, starting with the Agirre-Rigau conceptual density measure. We use a generalized form of this measure, introducing many (parameterized) refinements and performing an exhaustive evaluation of all meaningful combinations. We finally obtain a 42% improvement over the original algorithm, and show that measures of conceptual distance are not worse indicators for sense disambiguation than measures based on word-coocurrence (exemplified by the Lesk algorithm). Our results, however, reinforce the idea that only a combination of different sources of knowledge might eventually lead to accurate word sense disambiguation.

研究动机与目标

• 评估概念关系作为独立知识源在词义消歧（WSD）中的判别能力。
• 通过参数化和详尽的配置测试，系统性地改进 Agirre-Rigau 概念密度算法。
• 使用大规模测试集，将基于概念关系的 WSD 与基于共现的 Lesk 方法进行性能比较。
• 评估 WSD 在不同文本类型中的可行性，特别是对比非小说类与小说类文本。
• 倡导基于应用的 WSD 系统评估，认为仅在 Semcor 上的召回率不足以衡量系统有效性。

提出的方法

• 系统使用词典知识库（WordNet），并通过传递性上位关系（IS-A）和整体关系（PART-OF）传播与词义相关的概念。
• 针对每个词义，基于相关子概念的数量和深度计算概念密度，采用四种不同的密度公式，包括原始的 Agirre-Rigau 公式及新型变体如 SDF 和 LF。
• 在目标词周围应用固定大小的上下文窗口，对相关概念进行加权并聚合，以计算特定词义的概念密度得分。
• 系统在 50 多种配置下进行调优，参数包括窗口大小、层次深度截断值、关系类型和密度公式参数。
• 在完整的 Semcor 测试集上评估性能，并与随机消歧方法及基于 Lesk 的共现方法进行对比。
• 最终系统采用大小为 2 的最大上位关系链，并针对多语言文本集合的覆盖率和准确性进行了优化。

实验结果

研究问题

• RQ1 与基于共现的方法相比，仅靠概念关系能否提供具有竞争力的 WSD 性能？
• RQ2 不同的概念密度公式和参数设置如何影响 WSD 的准确性？
• RQ3 基于概念关系的 WSD 性能在不同文本类型中是否存在显著差异？
• RQ4 窗口大小在多大程度上影响概念密度方法的消歧准确性？
• RQ5 Semcor 语料库是否足以作为 WSD 系统的充分评估基准，还是应优先采用应用层面的评估？

主要发现

• 最佳性能系统相比原始 Agirre-Rigau 算法提升了 42%，证明了系统性参数调优的有效性。
• 优化后的系统在召回率上比基于 Lesk 的共现方法高出 14%，表明概念关系是强有力的 WSD 指标。
• 在非小说类文本（如 Press: reportage）中提升最大，达 36.08%，而小说类文本（如 Adventure & Western Fiction）仅提升 4.45%。
• 最优配置采用大小为 2 的最大上位关系链，避免了因过长、嘈杂的层级链导致性能下降。
• 更大的窗口尺寸通过更好地捕捉领域特定上下文提升了性能，支持使用更广泛的上下文信息。
• 本研究提供了强有力的证据，表明 WSD 评估应通过自然语言处理应用进行间接衡量，因为仅在 Semcor 上的召回率无法准确反映系统有效性。