[论文解读] One Sense per Collocation and Genre/Topic Variations

David Martínez, Eneko Agirre|ArXiv.org|Oct 17, 2000

Natural Language Processing Techniques参考文献 5被引用 5

一句话总结

本文使用 WordNet 的细粒度语义标注在 DSO 语料库中检验了‘一词一义’共现假说，发现其精确率为 70%，显著低于针对二元歧义情况报告的 99%，这主要是由于语料库间文体和主题的差异所致。研究表明，当语料库在文体或主题上不匹配时，词义消歧（WSD）性能会下降；但当语料库具有相关文体时，性能则会提升，凸显了文体和主题在 WSD 建模中的关键作用。

ABSTRACT

This paper revisits the one sense per collocation hypothesis using fine-grained sense distinctions and two different corpora. We show that the hypothesis is weaker for fine-grained sense distinctions (70% vs. 99% reported earlier on 2-way ambiguities). We also show that one sense per collocation does hold across corpora, but that collocations vary from one corpus to the other, following genre and topic variations. This explains the low results when performing word sense disambiguation across corpora. In fact, we demonstrate that when two independent corpora share a related genre/topic, the word sense disambiguation results would be better. Future work on word sense disambiguation will have to take into account genre and topic as important parameters on their models.

研究动机与目标

• 在 WordNet 的细粒度语义区分基础上，检验‘一词一义’共现假说。
• 评估共现短语在不同语料库中的一致性，特别是因文体和主题差异导致的变化。
• 探究当训练数据与测试数据来自不同语料库时，词义消歧（WSD）性能下降的原因。
• 评估文体和主题对共现短语重叠度与 WSD 准确率的影响。
• 通过识别文体和主题作为模型设计中的关键参数，为未来 WSD 系统提供指导。

提出的方法

• 使用包含 191 个多义词的 DSO 语料库，结合来自布朗语料库和华尔街日报语料库的 WordNet 语义标签。
• 基于共现模式（如中心词、修饰语、句法框架）构建决策列表，用于语义消歧。
• 通过文体和主题子类别对比布朗语料库与华尔街日报语料库之间的性能表现。
• 采用交叉验证方法，分别使用句子级和文件级划分，以评估数据泄露的影响。
• 使用精确率与覆盖率指标评估决策列表性能，并通过一致性统计量比较共现短语。
• 分析语料库之间及子类别之间的共现短语重叠情况，识别由文体/主题驱动的差异。

实验结果

研究问题

• RQ1 与二元同形歧义相比，‘一词一义’共现假说在细粒度语义区分下是否成立？
• RQ2 由于文体和主题差异，共现短语在多大程度上在不同语料库中发生变化？
• RQ3 当训练数据与测试数据来自不同语料库时，为何词义消歧性能会下降？
• RQ4 语料库之间的文体/主题相似性在多大程度上影响共现短语重叠度与 WSD 性能？
• RQ5 文体和主题能否作为提升跨语料库 WSD 系统性能的关键参数？

主要发现

• 对于细粒度 WordNet 语义，‘一词一义’共现假说的精确率为 70%，显著低于针对二元歧义报告的 99%。
• 由于文体和主题差异，共现短语在不同语料库中存在显著变化，这解释了跨语料库 WSD 性能不佳的原因。
• 当训练和测试数据来自具有相关文体/主题的语料库（如华尔街日报与新闻报道类语料）时，WSD 精确率显著提升。
• 当作为训练集和测试集使用时，华尔街日报语料库的整体精确率（0.652）高于布朗语料库（0.572），表明存在语料库特异性共现模式。
• 当在不同语料库之间进行训练与测试时，性能进一步下降，尤其在文体/主题不匹配时，从华尔街日报到布朗语料库的跨语料库精确率整体为 0.489。
• 本研究识别出文体和主题是 WSD 中此前被忽视的关键参数，对数据收集与模型泛化具有重要启示。