[论文解读] Sentiment Analysis of Users' Reviews on COVID-19 Contact Tracing Apps with a Benchmark Dataset

Kashif Ahmad, Firoj Alam+9 more|arXiv (Cornell University)|Mar 1, 2021

COVID-19 Digital Contact Tracing被引用 5

一句话总结

本论文提出了一项基准数据集和一个流程，用于对来自46个国家的47款COVID-19接触追踪应用程序的用户评论进行自动情感分析。通过众包标注并基于34,534条人工标注的评论训练多种AI模型（包括RoBERTa等Transformer模型），研究实现了高达94.8%的平均F1得分，证明了自动化情感分类的高度可行性，并识别出隐私、技术问题和应用性能等关键用户关切。

ABSTRACT

Contact tracing has been globally adopted in the fight to control the infection rate of COVID-19. Thanks to digital technologies, such as smartphones and wearable devices, contacts of COVID-19 patients can be easily traced and informed about their potential exposure to the virus. To this aim, several interesting mobile applications have been developed. However, there are ever-growing concerns over the working mechanism and performance of these applications. The literature already provides some interesting exploratory studies on the community's response to the applications by analyzing information from different sources, such as news and users' reviews of the applications. However, to the best of our knowledge, there is no existing solution that automatically analyzes users' reviews and extracts the evoked sentiments. In this work, we propose a pipeline starting from manual annotation via a crowd-sourcing study and concluding on the development and training of AI models for automatic sentiment analysis of users' reviews. In total, we employ eight different methods achieving up to an average F1-Scores 94.8% indicating the feasibility of automatic sentiment analysis of users' reviews on the COVID-19 contact tracing applications. We also highlight the key advantages, drawbacks, and users' concerns over the applications. Moreover, we also collect and annotate a large-scale dataset composed of 34,534 reviews manually annotated from the contract tracing applications of 46 distinct countries. The presented analysis and the dataset are expected to provide a baseline/benchmark for future research in the domain.

研究动机与目标

• 为解决现有针对COVID-19接触追踪应用程序用户评论的情感分析任务中缺乏特定任务、大规模且人工标注的数据集的问题。
• 开发并评估能够以高精度自动分类用户评论情感的AI模型。
• 通过系统性情感分析，识别并分析关键用户关切，如隐私、技术问题和应用性能。
• 提供一个标准化的基准数据集，以支持未来数字公共卫生和情感分析领域的研究。

提出的方法

• 开发了一个多阶段流程，首先通过公共应用商店从46个国家的47款接触追踪应用程序中收集数据。
• 开展众包研究，将34,534条评论人工标注为情感类别：正面、负面、中性以及技术问题。
• 训练并评估了八种不同的机器学习与深度学习模型，包括经典方法（朴素贝叶斯、SVM）、深度学习模型（LSTM、BiLSTM）以及基于Transformer的模型（BERT、RoBERTa、XML-RoBERTa）。
• 在标注数据集上对模型进行微调，并使用标准自然语言处理指标（精确率、召回率和F1得分）在二元和三元分类任务中进行评估。
• 研究采用了三种分类任务：二元（正面 vs. 负面）、二元（正面 vs. 非正面）和三元（正面、负面、中性）情感分类。
• 使用宏平均F1得分评估性能，并特别关注类别不平衡问题，尤其是中性类别。

实验结果

研究问题

• RQ1 全球范围内COVID-19接触追踪应用程序的用户评论情感分布如何？其在不同国家和应用之间有何差异？
• RQ2 与经典方法和深度学习模型相比，不同AI模型（尤其是Transformer模型）在分类接触追踪应用程序用户评论情感方面的有效性如何？
• RQ3 用户评论中最常见的技术问题和与隐私相关的关切是什么？它们与情感极性之间存在何种关联？
• RQ4 大规模、人工标注的基准数据集在多大程度上提升了此特定任务中文本情感分析模型的性能？

主要发现

• 所提出的基准数据集包含来自46个国家47款接触追踪应用程序的34,534条人工标注的用户评论，为未来研究提供了全面的资源。
• 表现最佳的模型XML-RoBERTa在所有分类任务中均实现了94.8%的平均F1得分，证明了自动化情感分析的高度可行性。
• Transformer模型优于经典方法和深度学习模型，其中基于RoBERTa的模型在所有任务中均展现出最高的精确率、召回率和F1得分。
• 大多数评论属于三类：正面（35.6%）、负面（30.2%）和技术问题（25.8%），仅有8.4%被归类为中性。
• 注册问题、连接问题和应用性能差等技术问题常与负面情感相关联，表明其具有强烈的情感影响。
• 与GPS追踪及个人数据访问（如相册）相关的隐私关切是最突出的非技术性问题，且在负面评论中持续出现。