[论文解读] Selective Sampling for Example-based Word Sense Disambiguation

Atsushi Fujii, Kentaro Inui+2 more|ArXiv.org|Oct 23, 1999

Natural Language Processing Techniques参考文献 50被引用 114

一句话总结

本文提出了一种用于基于实例的词义消歧的有选择性采样方法，通过选择具有最大训练效用（定义为对后续采样具有信息量）的实例，同时降低了监督成本和搜索开销。在约1,000个句子上的实验表明，该方法在显著减少所需人工标注实例数量和数据库搜索成本的同时，性能与基线方法相当。

ABSTRACT

This paper proposes an efficient example sampling method for example-based word sense disambiguation systems. To construct a database of practical size, a considerable overhead for manual sense disambiguation (overhead for supervision) is required. In addition, the time complexity of searching a large-sized database poses a considerable problem (overhead for search). To counter these problems, our method selectively samples a smaller-sized effective subset from a given example set for use in word sense disambiguation. Our method is characterized by the reliance on the notion of training utility: the degree to which each example is informative for future example sampling when used for the training of the system. The system progressively collects examples by selecting those with greatest utility. The paper reports the effectiveness of our method through experiments on about one thousand sentences. Compared to experiments with other example sampling methods, our method reduced both the overhead for supervision and the overhead for search, without the degeneration of the performance of the system.

研究动机与目标

• 解决大规模基于实例的词义消歧系统中监督成本高和计算搜索开销大的问题。
• 开发一种从大规模语料库中选择更小但更有效的实例子集用于训练的方法。
• 通过优先选择能最大化未来训练效用的实例，提升系统效率。
• 在性能和效率方面，将该方法与随机采样、不确定性采样和委员会采样策略进行对比评估。

提出的方法

• 该方法引入了‘训练效用’的正式概念——即在训练中使用时，一个实例对未来采样具有信息量的程度。
• 在每次迭代中，基于该实例能帮助消歧多少未标注实例，选择训练效用最高的实例。
• 系统在词义消歧（基于同义词典的最近邻相似度）和训练阶段（人工专家标注所选实例）之间交替进行。
• 训练效用通过一个考虑实例的论元填充项与未标注实例的论元填充项之间重叠的效用函数来计算。
• 该过程通过选择能最大程度减少剩余未标注实例不确定性的实例，迭代构建一个紧凑且高效率的数据库。
• 该方法应用于使用日语文本语料库的动词词义消歧系统，相似度通过论元填充项重叠和同义词典进行度量。

实验结果

研究问题

• RQ1 如何优化实例选择，以减少基于实例的WSD中所需的人工标注实例数量？
• RQ2 训练效用与词义消歧的实际性能提升之间相关性如何？
• RQ3 与随机采样、不确定性采样和委员会采样相比，该方法在效率和准确率方面表现如何？
• RQ4 像本方法这样的单模型方法能否实现与委员会采样等多模型方法相当的性能？

主要发现

• 基于训练效用的采样方法在减少监督和搜索开销方面，比随机采样、不确定性采样和委员会采样方法更有效。
• 该方法在使用更少标注实例的情况下，实现了与基线方法相当的性能，保持了高消歧准确率且无性能下降。
• 发现不确定性采样虽然考虑了冗余性（属性b），但未考虑对未标注实例的广泛影响（属性a），限制了其有效性。
• 委员会采样被认为不适合基于实例的系统，因其设计针对基于统计的模型，而本方法则不同。
• 效用函数成功优先选择了对未来消歧最具信息量的实例，从而在更少标注实例下实现更快收敛。