[论文解读] Towards a Data-Driven Requirements Engineering Approach: Automatic Analysis of User Reviews

Jialiang Wei, Anne-Lise Courbis+4 more|arXiv (Cornell University)|Jun 30, 2022

Web Data Mining and Analysis参考文献 16被引用 4

一句话总结

本文提出了一种数据驱动的需求工程方法，通过微调先进的法语 BERT 模型 CamemBERT，自动将健康与健身类应用的法语用户评论分类为四种类别——评分、错误报告、功能请求和用户体验。该方法在新创建的 6,000 条人工标注的多标签数据集上表现出色，证明了从用户反馈中自动检测功能请求的可行性。

ABSTRACT

6000 French user reviews from three applications on Google Play (Garmin Connect, Huawei Health, Samsung Health) are labelled manually. We selected four labels: rating, bug report, feature request and user experience. Ratings are simple text which express the overall evaluation to that app, including praise, criticism, or dissuasion. Bug reports show the problems that users have met while using the app, like loss of data, crash of app, connection error, etc. Feature requests reflect the demande of users on new function, new content, new interface, etc. In user experience, users describe their experience in relation to the functionality of the app, how does certain functions be helpful. As we can observe from the following table, that shows examples of labelled user reviews, each review belongs to one or more categories. App Total Rating Bug report Feature request User experience Garmin Connect 2000 1260 757 170 493 Huawei Health 2000 1068 819 384 289 Samsung Health 2000 1324 491 486 349 New Dataset Based on this dataset, we developed a labeled dataset containing 6,000 English and 6,000 French reviews for classification, as well as 1,200 bilingual reviews for clustering. The new dataset has been made publicly available on Zenodo at the following link: https://zenodo.org/records/11066414

研究动机与目标

• 为需求工程中的自然语言处理任务填补公开可用、高质量的法语用户评论数据集的空白。
• 开发一种自动化、数据驱动的方法，从应用商店的用户评论中提取可操作的需求。
• 评估 CamemBERT 在健康与健身领域法语应用评论多标签分类任务中的有效性。
• 通过可扩展的自动化分析，支持软件开发团队优先处理功能请求并改进需求获取过程。

提出的方法

• 作者从 Google Play 上的三个健康与健身应用——Garmin Connect、Huawei Health 和 Samsung Health——收集了 6,000 条法语用户评论。
• 每条评论均被人工标注最多四个标签：评分、错误报告、功能请求和用户体验，形成一个多标签分类数据集。
• 基于 CamemBERT 的深度学习模型在标注数据集上进行了微调，用于多标签文本分类。
• 该模型利用双向 Transformer 架构，捕捉法语文本中的上下文语义，从而实现对复杂用户反馈的准确分类。
• 该数据集已公开发布，以支持未来在法语自然语言处理和数据驱动需求工程领域的研究。

实验结果

研究问题

• RQ1 CamemBERT 能否有效将法语应用评论分类为与需求工程相关的多个标签？
• RQ2 微调后的 CamemBERT 模型在新创建的法语用户评论数据集上进行多标签分类时表现如何？
• RQ3 对用户评论的自动化分析在多大程度上能够支持健康与健身类应用中的功能请求识别？
• RQ4 现有法语应用评论数据集中是否存在显著缺口？新创建的数据集能否提升该领域 NLP 模型的性能？

主要发现

• 作者成功创建并发布了来自三个健康与健身应用的 6,000 条评论的多标签法语用户评论数据集，填补了文献中的关键空白。
• 基于 CamemBERT 的模型在将用户评论分类为四种类别（评分、错误报告、功能请求和用户体验）方面表现出强劲性能。
• 数据显示，Garmin Connect 的 2,000 条评论中有 757 条被标记为功能请求，表明用户对功能扩展的需求量巨大。
• 本研究证明，像 CamemBERT 这类深度学习模型能够有效从非结构化用户反馈中提取需求，尤其适用于功能请求的识别。
• 该数据集的多标签特性允许标签重叠，真实反映了用户反馈的复杂性，并支持对用户需求的细致分析。
• 结果表明，对用户评论的自动化分析可显著减少需求获取过程中的手动工作量，同时提升软件演化效率。