[论文解读] Neural Architectures for Fine-grained Entity Type Classification

Sonse Shimaoka, Pontus Stenetorp+2 more|arXiv (Cornell University)|Jun 4, 2016

Topic Modeling参考文献 22被引用 11

一句话总结

本文提出了一种用于细粒度实体类型分类的神经架构，该架构整合了学习到的特征与人工设计的特征，采用层次化标签编码实现参数共享，并表明训练数据的选择对性能有决定性影响。最佳模型在 Figer (GOLD) 上达到 75.36% 的宽松微 F1 分数，在 OntoNotes 上达到 64.93%，在公开数据上训练的模型中创下新的 SOTA 结果。

ABSTRACT

In this work, we investigate several neural network architectures for fine-grained entity type classification. Particularly, we consider extensions to a recently proposed attentive neural architecture and make three key contributions. Previous work on attentive neural architectures do not consider hand-crafted features, we combine learnt and hand-crafted features and observe that they complement each other. Additionally, through quantitative analysis we establish that the attention mechanism is capable of learning to attend over syntactic heads and the phrase containing the mention, where both are known strong hand-crafted features for our task. We enable parameter sharing through a hierarchical label encoding method, that in low-dimensional projections show clear clusters for each type hierarchy. Lastly, despite using the same evaluation dataset, the literature frequently compare models trained using different data. We establish that the choice of training data has a drastic impact on performance, with decreases by as much as 9.85% loose micro F1 score for a previously proposed method. Despite this, our best model achieves state-of-the-art results with 75.36% loose micro F1 score on the well- established FIGER (GOLD) dataset.

研究动机与目标

• 研究用于细粒度实体类型分类的神经网络架构，重点关注学习特征与人工设计特征的融合。
• 分析神经模型中的注意力机制是否隐式学习到传统 NLP 特征中已知有用的句法与上下文线索。
• 评估训练数据选择对模型性能的影响，该问题在先前工作中被忽视。
• 探索层次化标签编码以在相关实体类型之间共享参数，提升泛化能力。
• 通过在相同公开可用数据集上训练模型，实现公平比较，解决先前评估中的不一致问题。

提出的方法

• 在提及前后结合神经嵌入与人工设计特征，如句法头与上下文词。
• 采用注意力神经编码器，利用软注意力机制聚焦于输入句子中的相关词语与短语。
• 应用层次化标签编码，在分类体系中共享实体类型之间的参数，提升泛化能力，并在低维空间中形成一致的聚类。
• 通过消融研究隔离人工设计特征与注意力机制的贡献。
• 使用主成分分析（PCA）可视化标签嵌入，评估层次化编码的质量。
• 通过测量注意力机制在句法头与上下文词上的注意力频率，进行定量注意力分析，评估模型学习到的语言模式。

实验结果

研究问题

• RQ1 在细粒度实体类型分类中，人工设计特征与学习到的神经特征是否具有互补性？
• RQ2 神经模型中的注意力机制是否能隐式学习到对句法头与提及前后文的注意力，这些特征在以往研究中已被证明是强特征？
• RQ3 层次化标签编码是否能提升性能，并在嵌入的标签空间中形成有意义的聚类？
• RQ4 训练数据的选择对模型性能的影响有多大，尤其是在比较在不同数据集上训练的模型时？
• RQ5 当在公开可用数据上训练时，模型是否能实现 SOTA 性能，从而确保可复现性与公平比较？

主要发现

• 将人工设计特征与学习特征结合可带来性能提升，且两类特征具有互补性。
• 注意力机制学习到对句法头以及提及前后词语的注意力，这些特征已被证明是类型分类的强指标。
• 层次化标签编码在低维标签嵌入中形成清晰且一致的聚类，表明在相关类型之间实现了有效的参数共享。
• 训练数据的选择对性能有显著影响，当比较在不同数据集上训练的模型时，宽松微 F1 分数最高下降达 9.85%。
• 所提出的模型在 Figer (GOLD) 数据集上达到 75.36% 的宽松微 F1 分数，在 OntoNotes 上达到 64.93%，在所有基于公开数据训练的模型中创下 SOTA 结果。
• 尽管注意力模型表现强劲，但人工设计特征的增益在注意力模型中小于在非注意力模型中，可能是因为注意力机制已捕获了关键的语言线索。