[论文解读] Quantifying Uncertainties in Natural Language Processing Tasks

Yijun Xiao, William Yang Wang|arXiv (Cornell University)|Nov 18, 2018

Topic Modeling参考文献 18被引用 15

一句话总结

本文提出一种方法，利用贝叶斯神经网络和蒙特卡洛丢弃，量化自然语言处理任务中的模型（认识论）不确定性和输入相关数据（随机性）不确定性。通过建模这些不确定性，该方法在情感分析、命名实体识别和语言建模任务中均提升了性能，F1分数最高提升26.4%，困惑度降低4.2%，且更高的不确定性与更模糊或更困难的预测相关。

ABSTRACT

Reliable uncertainty quantification is a first step towards building explainable, transparent, and accountable artificial intelligent systems. Recent progress in Bayesian deep learning has made such quantification realizable. In this paper, we propose novel methods to study the benefits of characterizing model and data uncertainties for natural language processing (NLP) tasks. With empirical experiments on sentiment analysis, named entity recognition, and language modeling using convolutional and recurrent neural network models, we show that explicitly modeling uncertainties is not only necessary to measure output confidence levels, but also useful at enhancing model performances in various NLP tasks.

研究动机与目标

• 开发一种量化自然语言处理任务中模型与数据不确定性的方法，以提升模型的可靠性与可解释性。
• 探究显式建模不确定性是否能提升情感分析、命名实体识别和语言建模任务中的性能。
• 分析量化不确定性与不同自然语言处理任务中预测难度之间的相关性。
• 验证对于更模糊或难以预测的输入（如短文本或高熵标记），数据不确定性是否更高。

提出的方法

• 使用蒙特卡洛丢弃量化模型不确定性，通过多次前向传播并随机丢弃神经元，近似后验预测分布。
• 将输入相关数据不确定性建模为异方差不确定性，其随输入变化而变化，捕捉输入特定的噪声方差。
• 使用全方差定律数学分解总不确定性为模型与数据两部分。
• 应用变分推断进行贝叶斯神经网络训练，以学习具有不确定性的表征。
• 通过多次前向传播的预测方差估计不确定性，方差越高表示置信度越低。
• 通过标签分布熵与命名实体识别标签及输入标记的F1分数的相关性分析不确定性。

实验结果

研究问题

• RQ1 量化模型与数据不确定性是否能提升自然语言处理任务的性能？
• RQ2 量化不确定性与情感分析及命名实体识别中预测难度的相关性如何？
• RQ3 对于具有模糊或高熵标签分布的输入，输入相关数据不确定性是否更高？
• RQ4 不确定性估计能否有效反映不同自然语言处理任务中模型预测的置信度？

主要发现

• 在使用卷积神经网络的情感分析任务中，同时建模两种不确定性使F1分数相比基线最高提升26.4%。
• 在CoNLL 2003命名实体识别任务中，输入相关数据不确定性使F1分数提升2.7%。
• 在语言建模任务中，结合两种不确定性使困惑度降低4.2%。
• 对于NER标签分布熵更高的输入，数据不确定性始终被估计得更高，表明对模糊性具有敏感性。
• 在NER标签中F1分数较低的标记，其平均数据不确定性更高，证实了与预测难度的相关性。
• 高数据不确定性样本通常为短文本或长文本但情感信号微弱，而低不确定性样本则具有强烈且中等长度的情感线索。