[论文解读] ner and pos when nothing is capitalized

Stephen Mayhew, Tatiana Tsygankova+1 more|arXiv (Cornell University)|Mar 27, 2019

Topic Modeling参考文献 17被引用 15

一句话总结

本文提出在大小写混合的文本上联合训练单一NLP模型，以实现对大小写输入的鲁棒性能，优于标准方法（如仅在小写数据上训练或在推理时应用首字母大写化）。关键结果是在嘈杂的Twitter数据上，提及检测的F1值提升8%，证明在混合大小写数据上联合训练可为NER和POS任务构建最鲁棒的模型。

ABSTRACT

For those languages which use it, capitalization is an important signal for the fundamental NLP tasks of Named Entity Recognition (NER) and Part of Speech (POS) tagging. In fact, it is such a strong signal that model performance on these tasks drops sharply in common lowercased scenarios, such as noisy web text or machine translation outputs. In this work, we perform a systematic analysis of solutions to this problem, modifying only the casing of the train or test data using lowercasing and truecasing methods. While prior work and first impressions might suggest training a caseless model, or using a truecaser at test time, we show that the most effective strategy is a concatenation of cased and lowercased training data, producing a single model with high performance on both cased and uncased text. As shown in our experiments, this result holds across tasks and input representations. Finally, we show that our proposed solution gives an 8% F1 improvement in mention detection on noisy out-of-domain Twitter data.

研究动机与目标

• 为解决NER和POS模型在测试时遇到小写或嘈杂文本时性能下降的问题，此时大小写这一关键信号缺失。
• 评估在小写数据上训练或在推理时应用首字母大写化，哪种策略在面对大小写和小写输入时更具鲁棒性。
• 识别构建单一模型的最优策略，使其在各种输入大小写形式下均表现良好，尤其是在真实世界、分布外的场景中。
• 证明将大小写和小写训练数据拼接，相比其他预处理或后处理方法，能实现更优的泛化性能。

提出的方法

• 在包含大小写和小写文本的联合数据集上训练单一模型，预训练期间保留两种形式。
• 在大小写和小写测试集上评估模型性能，以衡量其鲁棒性和平均性能。
• 基于Susanto等人（2016）的方法实现一个神经首字母大写模型，使用双向LSTM在字符级别预测大小写标签。
• 比较多种策略：仅在大小写数据上训练、仅在小写数据上训练、在首字母大写数据上训练，或在大小写与小写数据的混合数据上训练。
• 使用ELMo和BERT嵌入，测试该方法在不同上下文表示架构下的表现。
• 将模型应用于真实世界嘈杂数据（Broad Twitter Corpus），以评估其在提及检测任务中的跨领域鲁棒性。

实验结果

研究问题

• RQ1 在小写数据上训练是否能获得对大小写输入具有鲁棒性的模型，反之亦然？
• RQ2 在测试输入上应用首字母大写化是否优于在小写数据上训练，以提升在小写文本上的性能？
• RQ3 在大小写和小写数据上联合训练的单一模型，其在两种输入类型上的平均性能是否优于仅在一种形式上训练的模型？
• RQ4 在真实世界嘈杂文本上，与推理时使用首字母大写化的模型相比，联合训练混合大小写数据的模型性能如何？
• RQ5 该方法是否能在不同神经架构和嵌入类型（如ELMo和BERT）之间泛化？

主要发现

• 在大小写和小写文本拼接数据集上训练的模型（实验3）在NER任务上达到最高的平均F1分数97.57，在POS任务上达到97.61，优于所有其他方法。
• 在混合大小写数据上训练的模型，使Broad Twitter Corpus上的提及检测F1值提升了8个百分点，达到66.14，而仅在大小写数据上训练的基线模型仅为58.63。
• 对测试数据进行首字母大写化（实验4）表现较差，POS任务的平均F1仅为95.21，原因是训练与测试数据在大小写标准上存在不匹配。
• 仅在小写数据上训练（实验2）在小写文本上表现优异（POS的F1为97.45），但无法泛化到大小写输入，导致平均性能较低。
• 该方法在不同架构上均保持有效，包括使用静态嵌入、非神经网络首字母大写化以及BERT小写嵌入的模型，证实了其鲁棒性和泛化能力。
• 即使使用BERT小写嵌入，联合训练混合大小写数据的模型在整体性能上仍优于仅在大小写或仅在小写数据上训练的模型，凸显了混合大小写训练的优势。