[论文解读] Noun Phrase Recognition by System Combination

Erik F. Tjong Kim Sang|arXiv (Cornell University)|May 10, 2000

Natural Language Processing Techniques参考文献 13被引用 55

一句话总结

本文提出一种名词短语识别的系统组合方法，通过在多种数据表示（如IOB标注和括号结构）上训练单一基于记忆的分类器（ib1-ig），并利用多数投票法组合结果。该方法在标准基础名词短语和任意名词短语识别数据集上达到最先进性能，与最佳单一分类器相比，错误率最高降低19%，F1分数在基础NP上达到92.8%，在任意NP上达到83.0%。

ABSTRACT

The performance of machine learning algorithms can be improved by combining the output of different systems. In this paper we apply this idea to the recognition of noun phrases.We generate different classifiers by using different representations of the data. By combining the results with voting techniques described in (Van Halteren et.al. 1998) we manage to improve the best reported performances on standard data sets for base noun phrases and arbitrary noun phrases.

研究动机与目标

• 探究结合在不同数据表示上训练的多个分类器是否能提升名词短语识别性能。
• 评估系统组合技术，特别是多数投票法，在提升基础名词短语和任意名词短语识别性能方面的效果。
• 确定基于记忆的学习方法结合多样化数据表示是否在基准数据集上优于单表示模型。
• 评估无需调优数据的投票策略的有效性，从而实现训练集的完全利用。
• 探索其他组合方法（如袋装法或遗传风格数据增强）是否能带来进一步性能提升。

提出的方法

• 在多种数据表示上训练单一基于记忆的分类器（ib1-ig）：包括IOB1、IOB2、IOE1、IOE2标注方案，以及基于括号的（O+C）表示。
• 应用ib1-ig算法，该算法基于训练数据中最近邻实例的加权特征距离对新实例进行分类。
• 通过五种不同分类器（每种表示对应一个）输出的多数投票生成最终的名词短语预测结果。
• 在组合实验中使用ib1-ig的igtree决策树变体，以比较不同学习算法的性能表现。
• 在Penn Treebank WSJ第15–18节上进行训练，第20节用于基础NP和任意NP任务的测试。
• 以F1分数（β=1）为优化目标，结合精确率与召回率指标，结果在Ramshaw & Marcus（1995）和CoNLL-99的标准基准数据集上进行评估。

实验结果

研究问题

• RQ1 结合在不同数据表示上训练的分类器是否能将名词短语识别性能提升至超过最佳单一分类器的水平？
• RQ2 在不使用调优数据的情况下，多数投票是否能成为名词短语切块任务中系统组合的稳健且有效的方法？
• RQ3 在分类器性能与组合有效性方面，不同数据表示（如IOB与括号结构）之间有何差异？
• RQ4 系统组合技术是否能在名词短语识别任务中显著降低错误率，如同在词性标注中所见？
• RQ5 与基于表示的组合相比，其他组合策略（如袋装法或遗传风格数据生成）是否更具有效性？

主要发现

• 在Ramshaw & Marcus基础NP数据集上，对五种不同数据表示的分类器输出进行多数投票，使最佳单一分类器的性能得到提升，F1分数达到91.86%，优于此前最佳的92.0%。
• 该系统组合方法在基础名词短语识别任务上实现了新的SOTA F1分数92.8%，超越了此前所有结果，包括XTAG1998报告的92.4%。
• 在CoNLL-99数据集的任意名词短语识别任务中，该方法取得了83.0%的F1分数，优于未使用组合的先前结果82.98%。
• 通过多数投票组合分类器，将最佳组件分类器的错误率最高降低了19%，与词性标注中的发现一致。
• O+C括号表示结合最短短语选择策略的表现优于IOB风格标注方案，证实了Muñoz et al.（1999）的早期发现。
• 当与ib1-ig结合时，袋装法或遗传风格数据增强等替代组合策略未能使性能超越最佳单一分类器。