[论文解读] Using Decision Trees for Coreference Resolution

Joseph F. McCarthy, Wendy G. Lehnert|ArXiv.org|May 24, 1995

Natural Language Processing Techniques参考文献 17被引用 93

一句话总结

本文提出Resolve，一种基于决策树的共指消解系统，用于商业合资企业文本，其在召回率和F值上均优于人工设计的规则。通过从短语对中提取的特征向量，Resolve利用C4.5决策树学习共指关系分类，未剪枝模型达到86.5%的F值，剪枝模型达到85.8%，超过MUC-5规则系统78.9%的F值。

ABSTRACT

This paper describes RESOLVE, a system that uses decision trees to learn how to classify coreferent phrases in the domain of business joint ventures. An experiment is presented in which the performance of RESOLVE is compared to the performance of a manually engineered set of rules for the same task. The results show that decision trees achieve higher performance than the rules in two of three evaluation metrics developed for the coreference task. In addition to achieving better performance than the rules, RESOLVE provides a framework that facilitates the exploration of the types of knowledge that are useful for solving the coreference problem.

研究动机与目标

• 为解决人工设计规则在共指消解中的局限性，如脆弱、难以维护且常过于保守。
• 探究使用决策树的机器学习是否能带来更优性能，并提供对共指有用特征的更系统性洞察。
• 通过使用经筛选的参考标记接口（cmi）提取短语对，减少句级分析带来的错误传播。
• 识别哪些特征——尤其是语义和句法特征——对准确的共指分类贡献最大。
• 提供一种可扩展、可学习的框架，以促进共指消解中特征探索与性能调优。

提出的方法

• 系统使用C4.5决策树学习算法，从表示名词短语对的特征向量中归纳分类规则。
• 每个特征向量包含语义、句法和上下文属性，如词性标记、语义特征以及领域特定角色（如合资企业中的母公司或子公司）。
• 训练数据由文本中所有可能的短语对构成，使用共指标记接口（cmi）标注为共指（正例）或非共指（负例）。
• 系统在EJV语料库的划分上通过交叉验证进行训练与测试，性能通过召回率、精确率和F值评估。
• 对决策树应用剪枝以减少过拟合并提高泛化能力，超参数通过标准C4.5设置进行调优。
• 在相同数据上重新实现MUC-5规则系统，以实现性能指标的直接比较。

实验结果

研究问题

• RQ1 基于决策树的系统能否在商业合资企业文本的共指消解中优于人工设计的规则？
• RQ2 哪些特征——语义、句法或上下文——对共指关系最具预测力？
• RQ3 在召回率、精确率和F值方面，决策树模型与规则系统相比表现如何？
• RQ4 剪枝是否能提升决策树模型在共指分类中的泛化能力和鲁棒性？
• RQ5 语义特征单独是否足以实现高性能的共指消解？句法特征在其中扮演何种角色？

主要发现

• 未剪枝的Resolve模型达到86.5%的F值，显著优于MUC-5规则集的78.9% F值。
• 未剪枝的Resolve模型实现85.4%的召回率和87.6%的精确率，尽管精确率较低，但召回率仍超过规则集的67.7%。
• 剪枝后的Resolve模型实现80.1%的召回率和92.4%的精确率，表明在牺牲部分召回率的情况下显著提升了精确率。
• 即使召回率权重为两倍（β=2.0），剪枝的Resolve模型仍优于规则集，达到82.3%的F值，而规则集仅为71.8%。
• 在除召回率权重低于三分之一外的所有β值下，剪枝模型在F值上均超过规则集，表明其在平衡性能上具有稳健优势。
• 错误分析显示，当前特征集（主要为语义特征）仍不充分，需引入句法特征（如从句边界、句法成分）以实现进一步改进。