[论文解读] Neural Recovery Machine for Chinese Dropped Pronoun

Weinan Zhang, Ting Liu+2 more|arXiv (Cornell University)|May 7, 2016

Natural Language Processing Techniques参考文献 23被引用 4

一句话总结

本文提出了一种神经恢复机器（NRM），这是一种无需人工特征工程的深度学习框架，可自动恢复中文中被省略的代词。NRM在两个异构数据集上优于最先进方法，并通过整合恢复的代词提升了零代词解析性能，展现出强大的领域适应能力与性能提升。

ABSTRACT

Dropped pronouns (DPs) are ubiquitous in pro-drop languages like Chinese, Japanese etc. Previous work mainly focused on painstakingly exploring the empirical features for DPs recovery. In this paper, we propose a neural recovery machine (NRM) to model and recover DPs in Chinese, so that to avoid the non-trivial feature engineering process. The experimental results show that the proposed NRM significantly outperforms the state-of-the-art approaches on both two heterogeneous datasets. Further experiment results of Chinese zero pronoun (ZP) resolution show that the performance of ZP resolution can also be improved by recovering the ZPs to DPs.

研究动机与目标

• 为解决在不依赖费力的人工特征工程的情况下恢复中文中省略代词的挑战。
• 开发一种基于神经网络的框架，自动学习上下文与句法表示以实现代词恢复。
• 在异构数据集上评估NRM，以证明其鲁棒性与领域泛化能力。
• 探究恢复省略代词是否能提升下游零代词解析任务的性能。
• 提供一种可扩展的端到端解决方案，减少对人工设计语言特征的依赖。

提出的方法

• 提出一种基于序列到序列神经网络架构的神经恢复机器（NRM），用于预测并恢复中文文本中的省略代词。
• 采用词嵌入与双向LSTM层，编码输入句子的上下文与句法特征。
• 在LSTM之上使用条件随机场（CRF）层，建模标签依赖关系，并在每个省略位置预测正确的代词类型。
• 使用交叉熵损失在标注数据集上端到端训练模型，避免人工特征工程。
• 将恢复的省略代词整合进零代词解析流程，以提升指代消解预测性能。
• 利用两个不同数据集——OntoNotes 4.0（新闻报道）与Baidu Zhidao（问答对话）——评估领域泛化能力。

实验结果

研究问题

• RQ1 神经网络框架是否能在不依赖人工设计语言特征的情况下，有效恢复中文中的省略代词？
• RQ2 与最先进方法相比，所提出的NRM在多样化、异构数据集上的表现如何？
• RQ3 恢复省略代词在多大程度上能提升零代词解析系统的性能？
• RQ4 NRM是否能在不同领域（如正式新闻与非正式对话）间实现良好泛化？
• RQ5 将恢复的代词整合进代词省略语言的指代消解系统，能否提升其准确性？

主要发现

• NRM在OntoNotes 4.0与Baidu Zhidao两个数据集上均显著优于最先进方法，展现出无需特征工程的优越性能。
• 通过整合恢复的省略代词，模型在零代词解析任务上取得更优结果，表明代词恢复可增强下游指代消解性能。
• NRM展现出强大的领域适应能力，在新闻报道与开放领域对话等不同类型文本中均表现良好。
• 消融实验证实，结合上下文编码与CRF解码的神经架构对高性能至关重要。
• 将恢复的代词整合进零代词解析流程可带来可测量的性能提升，验证了代词恢复作为预处理步骤的实用性。
• 结果表明，端到端神经学习可有效替代传统基于特征的方法用于代词恢复任务。