[论文解读] Synthetic vs. Real Reference Strings for Citation Parsing, and the Importance of Re-training and Out-Of-Sample Data for Meaningful Evaluations: Experiments with GROBID, GIANT and Cora

Mark Grennan, Joeran Beel|arXiv (Cornell University)|Apr 22, 2020

Natural Language Processing Techniques参考文献 31被引用 4

一句话总结

本研究评估了用于训练引用解析器的合成数据与真实参考字符串的性能，表明使用 GIANT 数据集生成的合成数据在训练 GROBID 时表现与真实数据相当（F1 = 0.74）。重新训练可显著提升性能（F1 提升 +30%），且在训练中包含多样化的字段类型即使在评估中未包含这些字段，也能进一步提升结果（F1 提升 +13.5%），证明合成数据在引用解析模型中具有可行性。

ABSTRACT

Citation parsing, particularly with deep neural networks, suffers from a lack of training data as available datasets typically contain only a few thousand training instances. Manually labelling citation strings is very time-consuming, hence synthetically created training data could be a solution. However, as of now, it is unknown if synthetically created reference-strings are suitable to train machine learning algorithms for citation parsing. To find out, we train Grobid, which uses Conditional Random Fields, with a) human-labelled reference strings from 'real' bibliographies and b) synthetically created reference strings from the GIANT dataset. We find that both synthetic and organic reference strings are equally suited for training Grobid (F1 = 0.74). We additionally find that retraining Grobid has a notable impact on its performance, for both synthetic and real data (+30% in F1). Having as many types of labelled fields as possible during training also improves effectiveness, even if these fields are not available in the evaluation data (+13.5% F1). We conclude that synthetic data is suitable for training (deep) citation parsing models. We further suggest that in future evaluations of reference parsers both evaluation data similar and dissimilar to the training data should be used for more meaningful evaluations.

研究动机与目标

• 评估 GIANT 数据集中生成的合成参考字符串是否适用于训练引用解析模型。
• 比较在合成数据与真实人工标注的引用字符串上训练的 GROBID 的性能表现。
• 研究重新训练以及在训练中引入多样化字段类型对模型有效性的影响。
• 评估在样本外数据中进行有意义的性能评估的重要性。
• 为引用解析系统的设计与评估提供基于证据的建议。

提出的方法

• 在 GIANT 数据集提供的合成参考字符串和 Cora 数据集中真实人工标注的引用字符串上分别训练基于 CRF 的引用解析器 GROBID。
• 通过重新训练来评估其对合成数据和真实数据上 F1 分数提升的影响。
• 在训练中引入更广泛的标注字段类型，即使这些字段未出现在评估数据中。
• 使用在训练过程中未见过的样本外数据来评估模型的泛化能力和鲁棒性。
• 以 F1 分数为主要指标，在多种实验配置下衡量模型性能。
• 通过比较不同训练数据类型（合成 vs. 真实）、重新训练条件和字段多样性，分离出关键性能影响因素。

实验结果

研究问题

• RQ1 来自 GIANT 数据集的合成参考字符串能否有效训练引用解析模型，使其在真实人工标注数据上的表现相当？
• RQ2 在合成或真实数据上训练时，重新训练对 GROBID 等引用解析器的 F1 性能有何影响？
• RQ3 在训练中包含更广泛的字段类型是否能提升解析器性能，即使这些字段未在评估中出现？
• RQ4 在多大程度上，使用样本外数据能提升引用解析器评估的有效性？
• RQ5 合成数据是否可作为训练和评估引用解析系统的可靠替代方案？

主要发现

• 使用 GIANT 数据集生成的合成参考字符串训练 GROBID 时，F1 分数达到 0.74，与真实人工标注字符串表现相当。
• 对模型进行重新训练后，合成数据和真实数据上的 F1 分数均提升了 30%，凸显其显著影响。
• 在训练中包含多样化字段类型使 F1 提升 13.5%，即使这些字段未出现在评估数据中。
• 本研究证明，合成数据是训练引用解析模型的可行且有效的替代方案。
• 在评估中同时使用相似和不相似的样本外数据，可带来更可靠、更稳健的性能评估结果。
• 结果支持在应用重新训练和多样化字段表示的前提下，使用合成数据训练引用解析器。