[论文解读] Semantic Frame Parsing for Information Extraction : the CALOR corpus

Gabriel Marzinotto, Jérémy Auguste+3 more|arXiv (Cornell University)|Dec 19, 2018

Natural Language Processing Techniques参考文献 10被引用 4

一句话总结

本文介绍了CALOR语料库，这是一个针对信息抽取任务定制的130万词法语标注数据集，用于部分语义框架解析。该研究对比了CRF与biLSTM多任务模型在联合框架识别与语义角色标注中的表现，结果表明biLSTM-MT模型召回率更高，而CRF-MM模型因子任务中标注歧义减少，表现出更好的精确率。

ABSTRACT

This paper presents a publicly available corpus of French encyclopedic history texts annotated according to the Berkeley FrameNet formalism. The main difference in our approach compared to previous works on semantic parsing with FrameNet is that we are not interested here in full text parsing but rather on partial parsing. The goal is to select from the FrameNet resources the minimal set of frames that are going to be useful for the applicative framework targeted, in our case Information Extraction from encyclopedic documents. Such an approach leverages the manual annotation of larger corpora than those obtained through full text parsing and therefore opens the door to alternative methods for Frame parsing than those used so far on the FrameNet 1.5 benchmark corpus. The approaches compared in this study rely on an integrated sequence labeling model which jointly optimizes frame identification and semantic role segmentation and identification. The models compared are CRFs and multitasks bi-LSTMs.

研究动机与目标

• 开发一种成本效益高、大规模的语料库，专注于语义框架解析，而非完整文本标注，以支持信息抽取。
• 解决FrameNet 1.5的局限性，后者在完整解析中面临框架分布稀疏与标注成本过高的问题。
• 在有限且领域相关的框架词典下，评估序列标注模型（CRF与biLSTM）在部分解析设置下的表现。
• 比较联合预测框架触发词与语义角色的集成模型与多步方法的性能差异。
• 探究模型架构如何影响在部分标注条件下框架解析任务中的精确率-召回率权衡。

提出的方法

• CALOR语料库由四个多样化的法语文本来源构建：维基百科专题门户（考古学、一战）、Vikidia（儿童百科全书）以及ClioTexte（一战历史文献），总计130万词。
• 仅对FrameNet框架和词素的最小、应用特定子集进行标注，聚焦于历史文本中信息抽取的相关性。
• 采用联合序列标注框架，每个词元被赋予一个结合框架触发词与语义角色的标签，并通过启发式过滤器保持结构一致性。
• 评估两种模型：按词素分别训练的多模型CRF（CRF-MM），以减少标注歧义；以及在所有词素间共享特征的多任务biLSTM（biLSTM-MT）。
• 模型在四个子任务（触发词识别、触发词分类、角色识别、角色分类）上，基于相等错误率（EER）操作点的精确率、召回率与F1值进行训练与评估。
• 特征集包括词形、词性标注与上下文嵌入，模型性能通过精确率-召回率曲线及EER点的F1值进行评估。

实验结果

研究问题

• RQ1 使用有限框架词典的部分框架解析是否能够实现比完整解析更大规模、更具成本效益的标注语料库？
• RQ2 在部分解析设置下，CRF与biLSTM模型在联合预测框架触发词与语义角色时的表现如何比较？
• RQ3 多任务biLSTM模型是否因在所有词素间共享特征学习，而在召回率与泛化能力上优于多模型CRF？
• RQ4 模型架构在多大程度上影响框架解析任务中的精确率-召回率权衡？
• RQ5 在一种领域（如考古学）上训练的模型，是否能泛化到另一领域（如一战）且具有不同写作风格？

主要发现

• biLSTM-MT模型在角色识别（70.3）与角色分类（63.2）上的F1值高于CRF-MM（69.7与60.6），表明其在复杂句法模式下具有更高的召回率与鲁棒性。
• CRF-MM模型在触发词识别（96.4 vs. 95.5 F1）与触发词分类（95.2 vs. 92.3 F1）上优于biLSTM-MT，归因于按词素分别训练带来的标注歧义减少。
• biLSTM-MT模型展现出更优的召回率-精确率平衡，尽管存在更高的精确率错误，但因在所有词素间共享特征学习，能捕获更多框架元素。
• CRF-MM模型虽精确率更高但召回率更低，表明其预测策略更为保守，误报更少。
• CALOR语料库实现了比完整解析更低成本的大规模框架标注，且每框架的样本数量显著多于FrameNet 1.5，有助于提升模型训练效果。
• 结果证实，使用特定领域框架集的部分解析在信息抽取中是可行且有效的，尤其当结合受益于共享表征的深度学习模型时。