[论文解读] Neural Contract Element Extraction Revisited

Ilias Chalkidis, Manos Fergadiotis+2 more|arXiv (Cornell University)|Sep 14, 2019

Topic Modeling被引用 9

一句话总结

本研究重新审视了用于合同要素抽取的神经方法，表明在该任务中，基于LSTM的编码器优于空洞卷积神经网络（dilated CNNs）、Transformer和BERT。此外，研究发现领域特定的Word2Vec词嵌入优于通用的GloVe词嵌入，而词性标注（POS tags）、词形特征（token shapes）和ELMo嵌入则未带来性能提升，挑战了序列标注任务中既有的假设，并凸显了在合同要素抽取中进行任务特定设计的必要性。

ABSTRACT

We investigate contract element extraction. We show that LSTM-based encoders perform better than dilated CNNs, Transformers, and BERT in this task. We also find that domain-specific WORD2VEC embeddings outperform generic pre-trained GLOVE embeddings. Morpho-syntactic features in the form of POS tag and token shape embeddings, as well as context-aware ELMO embeddings do not improve performance. Several of these observations contradict choices or findings of previous work on contract element extraction and generic sequence labeling tasks, indicating that contract element extraction requires careful task-specific choices. Analyzing the results of (i) plain TRANSFORMER-based and (ii) BERT-based models, we find that in the examined task, where the entities are highly context-sensitive, the lack of recurrency in TRANSFORMERs greatly affects their performance.

研究动机与目标

• 在序列建模最新进展的背景下，重新评估用于合同要素抽取的神经架构。
• 评估不同类型的词嵌入（特别是领域特定的Word2Vec与通用的GloVe）对性能的影响。
• 探究形态句法特征（词性标注、词形）和上下文嵌入（ELMo）是否能提升抽取准确率。
• 理解尽管Transformer模型在其他NLP任务中表现优异，为何其在本任务中表现欠佳。
• 识别在高度依赖上下文的合同要素抽取任务中真正有益的架构与嵌入选择。

提出的方法

• 采用基于LSTM的编码器作为合同要素抽取的主要序列建模架构。
• 在合同特定的文本语料上训练领域特定的Word2Vec词嵌入，以捕捉法律术语和结构特征。
• 使用相同的语料和评估协议，将模型性能与空洞卷积神经网络（dilated CNNs）、Transformer和BERT进行对比。
• 引入词性标注、词形特征和ELMo嵌入作为附加特征，以评估其贡献。
• 通过消融研究隔离各组件对模型性能的影响。
• 分析Transformer和基于BERT的模型中的注意力模式与序列建模行为，以解释性能差异。

实验结果

研究问题

• RQ1 基于LSTM的模型是否在合同要素抽取中优于注意力机制模型（如Transformer和BERT）？
• RQ2 使用领域特定的Word2Vec词嵌入是否能带来优于通用预训练GloVe词嵌入的性能？
• RQ3 形态句法特征（如词性标注和词形）是否能提升合同文本中的抽取准确率？
• RQ4 上下文嵌入（如ELMo）是否能在此特定任务中提升性能？
• RQ5 尽管Transformer模型在其他NLP任务中表现优异，为何其在本任务中表现欠佳？

主要发现

• 基于LSTM的编码器在合同要素抽取中显著优于空洞卷积神经网络（dilated CNNs）、Transformer和BERT，表明循环机制在该任务中具有优势。
• 领域特定的Word2Vec词嵌入优于通用的GloVe词嵌入，表明法律领域适应能提升表征学习效果。
• 形态句法特征（如词性标注和词形嵌入）未提升模型性能，与通用序列标注任务中的发现相矛盾。
• 上下文嵌入（如ELMo）同样未能提升性能，表明其在该特定上下文中的效用有限。
• Transformer模型缺乏循环机制，导致在高度依赖上下文的合同要素上性能下降，解释了其在本任务中表现欠佳的原因，尽管其在其他设置中具备强大的泛化能力。