[论文解读] Using Latent Semantic Analysis to Identify Quality in Use (QU) Indicators from User Reviews

Wendy Tan Wei Syn, Chih How Bong+1 more|arXiv (Cornell University)|Mar 25, 2015

Sentiment Analysis and Opinion Mining参考文献 3被引用 12

一句话总结

本文提出一种基于潜在语义分析（LSA）的方法，通过将用户评论文本与质量使用（QU）度量尺度投影到共享语义空间中，自动将用户评论分类为三个质量使用（QU）指标——有效性、效率和无风险性。该方法在从非结构化评论中预测QU指标时，平均F-measure达到0.3627。

ABSTRACT

The paper describes a novel approach to categorize users' reviews according to the three Quality in Use (QU) indicators defined in ISO: effectiveness, efficiency and freedom from risk. With the tremendous amount of reviews published each day, there is a need to automatically summarize user reviews to inform us if any of the software able to meet requirement of a company according to the quality requirements. We implemented the method of Latent Semantic Analysis (LSA) and its subspace to predict QU indicators. We build a reduced dimensionality universal semantic space from Information System journals and Amazon reviews. Next, we projected set of indicators' measurement scales into the universal semantic space and represent them as subspace. In the subspace, we can map similar measurement scales to the unseen reviews and predict the QU indicators. Our preliminary study able to obtain the average of F-measure, 0.3627.

研究动机与目标

• 为解决手动分析海量用户评论以进行软件质量评估的挑战。
• 自动将用户评论分类为ISO定义的质量使用（QU）指标：有效性、效率和无风险性。
• 开发一种可扩展的、数据驱动的方法，利用语义分析推断QU指标，而无需为每种软件依赖标注的训练数据。
• 从多样化文本来源（信息系统期刊和Amazon评论）构建一个通用语义空间，以实现在不同软件领域间的迁移学习。

提出的方法

• 使用潜在语义分析（LSA）对信息系统期刊文章和Amazon产品评论的组合进行处理，构建低维通用语义空间。
• 将三个QU指标（有效性、效率、无风险性）的度量尺度投影到通用语义空间中作为向量。
• 通过应用相同的LSA变换，将用户评论映射到同一语义空间，以确保语义对齐。
• 使用投影后的评论向量与QU指标向量之间的余弦相似度，预测评论所属的QU类别。
• 使用初步标注的评论数据集进行模型训练与评估，通过F-measure衡量性能。

实验结果

研究问题

• RQ1 LSA能否有效将用户评论映射到ISO定义的三个质量使用（QU）指标：有效性、效率和无风险性？
• RQ2 从多样化文本来源（如学术期刊和消费者评论）派生的通用语义空间，在多大程度上能支持准确的QU指标预测？
• RQ3 当使用信息系统文献和Amazon评论的混合语料库进行训练时，LSA方法在未见用户评论上的泛化能力如何？
• RQ4 该方法在从非结构化用户反馈中预测QU指标方面的F-measure表现如何？

主要发现

• 所提出的基于LSA的方法在从用户评论中预测三个质量使用（QU）指标时，平均F-measure达到0.3627。
• 该方法成功地将用户评论和QU度量尺度映射到共享语义空间中，实现了基于语义相似度的分类。
• 利用来自异构来源（信息系统期刊和Amazon评论）构建的通用语义空间，实现了语义表征在不同领域间的迁移。
• 结果表明，可以利用LSA从非结构化用户反馈中自动推断QU指标，从而减少对人工评论分析的依赖。