[论文解读] When and Why does a Model Fail? A Human-in-the-loop Error Detection Framework for Sentiment Analysis

Zhe Liu, Yufan Guo+1 more|arXiv (Cornell University)|Jun 2, 2021

Adversarial Robustness in Machine Learning参考文献 21被引用 5

一句话总结

该论文提出了一种人机协同的错误检测框架，用于情感分析，通过可解释的特征识别模型预测中的错误。通过结合全局特征重要性评估与局部特征贡献分析，该框架在未见数据上实现了高精度的错误检测，且人工干预极少，其在前100个预测中的精确率比不确定性采样高出11个百分点。

ABSTRACT

Although deep neural networks have been widely employed and proven effective in sentiment analysis tasks, it remains challenging for model developers to assess their models for erroneous predictions that might exist prior to deployment. Once deployed, emergent errors can be hard to identify in prediction run-time and impossible to trace back to their sources. To address such gaps, in this paper we propose an error detection framework for sentiment analysis based on explainable features. We perform global-level feature validation with human-in-the-loop assessment, followed by an integration of global and local-level feature contribution analysis. Experimental results show that, given limited human-in-the-loop intervention, our method is able to identify erroneous model predictions on unseen data with high precision.

研究动机与目标

• 解决在情感模型部署后检测错误预测的挑战，以避免造成损害。
• 通过在全局特征层面而非实例层面进行人工评估，减少对昂贵的实例级人工标注的依赖。
• 通过提供预测失败原因的可解释性说明，提升模型的可问责性。
• 主动检测错误，即使在高置信度预测中也是如此，而传统不确定性采样在此类情况下会失效。
• 实现可扩展、高效的错误检测，且无需真实标签即可泛化到未见数据。

提出的方法

• 该框架首先通过数据扰动计算每个实例的局部特征贡献，以衡量特征对预测的影响。
• 将局部贡献聚合为测试集上的全局特征重要性得分，以识别始终具有影响力的特征。
• 人工标注者评估排名靠前的全局特征与情感类别之间的相关性，标记出被认为无关或具有误导性的特征。
• 通过结合全局特征相关性与局部预测置信度，计算错误得分，并采用基于阈值的标记机制。
• 该方法在特征层面而非实例层面进行人机协同验证，显著降低了标注负担。
• 该框架整合了全局与局部分析，即使在模型置信度较高时也能检测到错误。

实验结果

研究问题

• RQ1 如何在最小化人工干预的前提下检测情感模型中的错误预测？
• RQ2 全局特征层面的人工评估是否能在错误检测的效率和准确性上优于实例层面的标注？
• RQ3 该框架能否检测到不确定性采样所遗漏的错误，尤其是在高置信度预测中？
• RQ4 将全局特征相关性与局部预测贡献相结合，在识别模型失败方面有多有效？
• RQ5 该框架是否可通过识别有问题的全局特征来检测模型偏差？

主要发现

• 所提方法在K=100时达到82.0%的precision@K，显著优于不确定性采样的71.0% precision@K。
• 在K=400时，两种方法的精确率差距缩小至仅0.6%，表明在放宽阈值后收益递减。
• 约40%该框架检测到的错误实例，其预测概率高于0.7，表明即使在模型高度自信时也能检测到错误。
• 包括非专家在内的标注者在评估全局特征相关性方面表现出高度的评分者间一致性，验证了特征层面标注的可行性。
• 该框架成功识别出如'netflix'、'dems'和'palestine'等有问题的全局特征被错误地与负面情感关联。
• 该方法可在无需真实标签的情况下，对未见数据实现主动错误检测，支持模型的持续优化。