[论文解读] Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction

Christoph Alt, Aleksandra Gabryszak+1 more|arXiv (Cornell University)|Apr 17, 2020

Topic Modeling参考文献 31被引用 7

一句话总结

本文引入了14项探针任务，以分析神经关系抽取（RE）模型所捕捉的语言特征，在TACRED和SemEval 2010上评估了超过40种编码器架构与语言特征组合。研究发现，上下文嵌入（如BERT）显著提升了实体和词性探针任务以及RE任务的性能，而实体掩码虽提升了RE准确率，却损害了实体类型探针任务的表现，揭示了模型架构在学习表征中的偏差。

ABSTRACT

Despite the recent progress, little is known about the features captured by state-of-the-art neural relation extraction (RE) models. Common methods encode the source sentence, conditioned on the entity mentions, before classifying the relation. However, the complexity of the task makes it difficult to understand how encoder architecture and supporting linguistic knowledge affect the features learned by the encoder. We introduce 14 probing tasks targeting linguistic properties relevant to RE, and we use them to study representations learned by more than 40 different encoder architecture and linguistic feature combinations trained on two datasets, TACRED and SemEval 2010 Task 8. We find that the bias induced by the architecture and the inclusion of linguistic features are clearly expressed in the probing task performance. For example, adding contextualized word representations greatly increases performance on probing tasks with a focus on named entity and part-of-speech information, and yields better results in RE. In contrast, entity masking improves RE, but considerably lowers performance on entity type related probing tasks.

研究动机与目标

• 理解最先进的神经关系抽取模型所捕捉的语言特征（如实体类型、依存路径和句法角色）有哪些。
• 研究不同编码器架构（如CNN、RNN、GCN、自注意力）如何影响句子级编码中语言特征的表征。
• 评估引入显式语言知识（如词性标注、依存分析）和上下文词表示（如ELMo、BERT）对关系抽取学习表征的影响。
• 建立探针任务表现与下游关系抽取准确率之间的联系，识别表征学习中的潜在权衡。
• 提供一个开源框架（RelEx和REval），以支持关系抽取表征探针的可复现性与未来研究。

提出的方法

• 作者设计了14项探针任务，针对关系抽取中具有语言学相关性的特征，包括实体类型、词性、依存路径和论元距离。
• 他们在两个数据集（TACRED和SemEval 2010任务8）上评估了41种模型变体，这些变体结合了4种编码器架构（CNN、Bi-LSTM、GCN、S-Att.）与多种输入特征（如实体掩码、上下文嵌入、POS标签）。
• 对于每种模型变体，提取句子级表征，并用于在探针任务上训练二分类或多分类分类器，以衡量特征编码质量。
• 使用标准指标（如F1）评估每项探针任务的性能，并将结果与下游关系抽取F1分数进行相关性分析，以评估表征的实用性。
• 研究采用标准化的训练与评估协议，模型在完整训练集上训练，并在开发集上评估，确保各变体之间的可比性。
• 作者发布了RelEx框架和REval工具包，扩展SentEval以支持其探针任务，促进更广泛的应用与可复现性。

实验结果

研究问题

• RQ1 最先进的神经关系抽取模型在多大程度上编码了关键语言特征（如实体类型、词性标签和依存路径）？
• RQ2 编码器架构的选择（如自注意力与CNN）在多大程度上影响句子级编码中语言特征的表征？
• RQ3 显式语言特征（如POS、依存分析）和上下文词表示（如BERT、ELMo）如何影响关系抽取学习表征的质量？
• RQ4 探针任务表现与下游关系抽取任务表现之间是否存在权衡？
• RQ5 实体掩码如何影响与实体相关的语言特征编码以及模型整体泛化能力？

主要发现

• 上下文词表示（如BERT和ELMo）显著提升了聚焦于命名实体和词性信息的探针任务表现，表明这些特征被有效编码。
• CNN+ELMo模型在大多数探针任务中表现最佳，但在TACRED关系抽取任务上的F1分数比表现最佳的模型（S-Att.+BERT cased with masking）低8.1分。
• 自注意力编码器（S-Att.）在关系抽取F1分数上表现最佳（TACRED上最高达66.9），但在探针任务中始终表现较差，表明其捕捉了更深层、更抽象的语言特征。
• 实体掩码提升了关系抽取中的泛化能力，使F1提升4–8分，但降低了与实体类型相关的探针任务表现，表明表征学习中存在权衡。
• 在SemEval 2010数据集上，添加BERT嵌入使所有模型的F1提升3.5–6分，最佳模型（CNN + uncased BERT）达到86.3 F1，与当前最先进水平相当。
• 研究揭示，架构偏差强烈影响所编码的语言特征，不同架构和输入特征下，模型在探针任务上的表现系统性地存在差异。