[论文解读] Neural Fine-Grained Entity Type Classification with Hierarchy-Aware Loss

Peng Xu, Denilson Barbosa|arXiv (Cornell University)|Mar 9, 2018

Topic Modeling参考文献 14被引用 6

一句话总结

本文提出了一种用于细粒度实体类型分类（FETC）的神经网络模型，通过使用层次感知损失函数来处理远程监督中的两类主要噪声：上下文无关标签和过度具体标签。通过将多标签分类转化为单标签问题（使用终端类型），并应用一种带有层次归一化的交叉熵损失变体，该模型在 FIGER(GOLD) 和 OntoNotes 基准上实现了最先进性能，展现出对噪声训练数据的强鲁棒性。

ABSTRACT

The task of Fine-grained Entity Type Classification (FETC) consists of assigning types from a hierarchy to entity mentions in text. Existing methods rely on distant supervision and are thus susceptible to noisy labels that can be out-of-context or overly-specific for the training sentence. Previous methods that attempt to address these issues do so with heuristics or with the help of hand-crafted features. Instead, we propose an end-to-end solution with a neural network model that uses a variant of cross- entropy loss function to handle out-of-context labels, and hierarchical loss normalization to cope with overly-specific ones. Also, previous work solve FETC a multi-label classification followed by ad-hoc post-processing. In contrast, our solution is more elegant: we use public word embeddings to train a single-label that jointly learns representations for entity mentions and their context. We show experimentally that our approach is robust against noise and consistently outperforms the state-of-the-art on established benchmarks for the task.

研究动机与目标

• 解决由远程监督引起的细粒度实体类型分类（FETC）中的标签噪声问题。
• 消除 FETC 系统中对手工设计特征和临时后处理的依赖。
• 有效建模实体类型之间的语义层次结构，减少对过度具体子类型的偏见。
• 通过将层次结构整合到损失函数中，提升模型在噪声训练数据上的鲁棒性和性能。
• 通过终端类型表示，将 FETC 任务从多标签简化为单标签分类。

提出的方法

• 模型使用预训练词嵌入和双向 LSTM 搭配注意力机制，联合学习实体提及及其上下文的表示。
• 通过使用其终端类型（叶节点或非叶节点）表示每个类型路径，将多标签 FETC 重新表述为单标签分类问题。
• 引入一种交叉熵损失的变体，以在训练过程中自动处理上下文无关的噪声标签。
• 应用层次损失归一化，根据类型层次结构调整梯度惩罚，减少对流行子类型的偏见。
• 模型端到端训练，无需手工设计特征，利用类型层次结构的森林结构。
• 使用 T-SNE 可视化分析学习到的类型嵌入，验证层次归一化方法的有效性。

实验结果

研究问题

• RQ1 神经网络模型能否在不依赖启发式方法或过滤机制的情况下，有效处理 FETC 中的上下文无关噪声标签？
• RQ2 层次损失归一化如何提升模型泛化能力并减少对过度具体类型的偏见？
• RQ3 将多标签 FETC 转化为单标签问题是否能提升性能并简化训练过程？
• RQ4 所提出的损失函数在噪声较多的远程监督数据上能多大程度上提升鲁棒性？
• RQ5 该模型是否能学习到反映类型之间语义关系的有意义层次表示？

主要发现

• 该模型在 FIGER(GOLD) 和 OntoNotes 两个基准上均优于最先进方法，表现出一致的优越性。
• 在原始噪声数据（D_raw）上使用所提出的损失变体进行训练，性能优于在过滤后数据（D_filtered）上训练，表明其具有有效的噪声处理能力。
• 无论训练数据是原始还是过滤后的，层次损失归一化均在两个数据集上持续提升性能。
• T-SNE 可视化结果表明，层次损失归一化使父类型聚类更清晰，且子类型与父类型之间的分离更明显。
• 错误分析显示，通过层次归一化，模型减少了过度自信的预测（例如，错误地将实体分类为“Politician”或“Software”）。
• 尽管性能有所提升，但对模糊的实体名称和缩写（例如，“UW”作为“University of Washington”的缩写）仍存在挑战，表明仍有进一步改进的空间。