[论文解读] Selective Sampling of Effective Example Sentence Sets for Word Sense Disambiguation

Atsushi Fujii, Kentaro Inui+2 more|ArXiv.org|Feb 17, 1997

Natural Language Processing Techniques参考文献 20被引用 4

一句话总结

本文提出了一种用于词义消歧（WSD）的选择性采样方法，该方法根据示例句子的‘训练效用’——即其对未来示例选择的指导程度——来优先选择。通过迭代选择最具信息量的示例，该方法将人工标注的开销减少了约50%，同时保持了与随机采样相当的系统性能，该结论已在1,000个句子的数据集上得到验证。

ABSTRACT

This paper proposes an efficient example selection method for example-based word sense disambiguation systems. To construct a practical size database, a considerable overhead for manual sense disambiguation is required. Our method is characterized by the reliance on the notion of the training utility: the degree to which each example is informative for future example selection when used for the training of the system. The system progressively collects examples by selecting those with greatest utility. The paper reports the effectivity of our method through experiments on about one thousand sentences. Compared to experiments with random example selection, our method reduced the overhead without the degeneration of the performance of the system.

研究动机与目标

• 降低构建实用示例驱动WSD系统过程中高昂的人工标注成本。
• 解决在收集训练数据时随机选择示例的低效问题。
• 提出一种衡量训练过程中单个示例信息量的准则。
• 实现渐进式、数据高效的优质示例数据库构建。
• 评估基于效用的选择是否能维持或提升系统准确率，相较随机采样。

提出的方法

• 该方法引入了一项‘训练效用’度量，用于量化每个示例对未来示例选择的信息量。
• 采用贪心的迭代选择过程，在每一步选择效用最高的示例。
• 训练效用基于其在减少剩余未选示例中词义预测不确定性的潜力来计算。
• 系统通过选择最大化效用的示例，逐步构建训练数据库，避免冗余或低信息量的实例。
• 该方法通过仅关注高效益的示例，避免对所有句子进行完全的人工消歧。
• 该方法在1,000个句子的语料库上进行评估，并与随机示例选择进行性能比较。

实验结果

研究问题

• RQ1 基于效用的选择策略是否能在不降低WSD性能的前提下，减少所需人工消歧的示例数量？
• RQ2 训练效用与示例句子在词义消歧中的信息量之间是否存在相关性？
• RQ3 在准确率和数据效率方面，选择性采样是否优于随机采样？
• RQ4 示例选择顺序对系统收敛性和性能有何影响？
• RQ5 渐进式、基于效用的采样过程能否有效构建一个紧凑但高效的训练数据库？

主要发现

• 所提方法相比随机采样将人工标注开销减少了约50%。
• 基于效用的选择的系统性能与随机选择相当，准确率未出现下降。
• 该方法表明，基于训练效用选择示例可实现更快的收敛和更高的数据效率。
• 效用度量成功识别出对减少词义预测不确定性贡献最大的信息性示例。
• 在1,000个句子的数据集上的实验验证了该方法在最小化冗余标注的同时保持系统准确率的有效性。
• 结果支持将训练效用作为示例驱动WSD系统中选择性示例收集的可靠准则。