[论文解读] Towards Resolving Software Quality-in-Use Measurement Challenges

Issa Atoum, Chih How Bong+1 more|arXiv (Cornell University)|Jan 30, 2015

Software Engineering Research参考文献 54被引用 12

一句话总结

本文通过提出一种新颖的框架，利用用户反馈中的情感分析来预测使用中的软件质量，解决了现有复杂且不完整的模型在测量使用中软件质量方面的局限性。该方法通过初步的主题预测结果展示了可行性，为主观或临时的用户决策提供了数据驱动的替代方案。

ABSTRACT

Software quality-in-use comprehends the quality from user's perspectives. It has gained its importance in e-learning applications, mobile service based applications and project management tools. User's decisions on software acquisitions are often ad hoc or based on preference due to difficulty in quantitatively measure software quality-in-use. However, why quality-in-use measurement is difficult? Although there are many software quality models to our knowledge, no works surveys the challenges related to software quality-in-use measurement. This paper has two main contributions; 1) presents major issues and challenges in measuring software quality-in-use in the context of the ISO SQuaRE series and related software quality models, 2) Presents a novel framework that can be used to predict software quality-in-use, and 3) presents preliminary results of quality-in-use topic prediction. Concisely, the issues are related to the complexity of the current standard models and the limitations and incompleteness of the customized software quality models. The proposed framework employs sentiment analysis techniques to predict software quality-in-use.

研究动机与目标

• 识别并分析ISO SQuaRE系列及相关模型所定义的使用中软件质量测量中的关键挑战。
• 解决当前软件质量模型复杂且不完整的问题，以阻碍定量评估。
• 开发一种新颖且可扩展的框架，利用自然语言处理技术预测使用中的软件质量。
• 通过初步的主题建模，评估使用情感分析进行使用中质量预测的可行性。

提出的方法

• 该框架采用情感分析技术，从用户生成的反馈（如评论和评分）中提取使用中的质量感知。
• 它将用户情感模式映射到ISO SQuaRE标准中定义的使用中质量属性，实现自动化评估。
• 该方法使用自然语言处理（NLP）管道分析文本反馈，并在功能或属性级别对情感进行分类。
• 应用主题建模组件，从用户评论中识别重复出现的使用中质量主题。
• 该框架整合了ISO SQuaRE和现有软件质量模型的发现，以确保与公认的质量维度保持一致。
• 使用来自电子学习和移动服务应用的用户反馈数据集进行初步验证。

实验结果

研究问题

• RQ1 使用现有模型和标准测量使用中软件质量的主要挑战是什么？
• RQ2 如何有效应用情感分析，从用户反馈中预测使用中的软件质量？
• RQ3 基于NLP和情感分析的框架在多大程度上能提高使用中质量测量的客观性和可扩展性？
• RQ4 通过框架预测的使用中质量主题与通过人工分析用户反馈得出的主题相比如何？

主要发现

• 研究发现，现有软件质量模型往往过于复杂或不完整，导致使用中质量评估不一致且主观。
• 情感分析技术在自动检测用户反馈中的使用中质量感知方面显示出潜力，减少了对人工评估的依赖。
• 所提出的框架成功地将用户情感映射到使用中质量属性，展示了在实际应用场景中的可行性。
• 初步结果表明，该框架使用主题预测能够从用户评论中捕捉到可用性、可靠性等关键质量维度。
• 将ISO SQuaRE标准整合到框架中，确保了与公认质量标准的一致性，增强了可解释性和可信度。