[论文解读] RoseMatcher: Identifying the Impact of User Reviews on App Updates

Tianyang Liu, Chong Wang+5 more|arXiv (Cornell University)|Oct 19, 2022

Software Engineering Techniques and Practices被引用 5

一句话总结

RoseMatcher 是一种基于 NLP 的新方法，通过语义和基于关键词的匹配，自动将用户评论与应用发布说明进行匹配，识别相关评论-发布说明配对的命中率为 71.8%。研究揭示了用户评论在应用更新中扮演的八种不同角色，其中大多数相关反馈出现在发布说明发布前或后一年内。

ABSTRACT

$ extbf{Context}$: The release planning of mobile apps has become an area of active research, with most studies centering on app analysis through release notes in the Apple App Store and tracking user reviews via issue trackers. However, the correlation between these release notes and user reviews in App Store remains understudied. $ extbf{Objective}$: In this paper, we introduce $ extit{RoseMatcher}$, a novel automatic approach to match relevant user reviews with app release notes and identify matched pairs with high confidence. $ extbf{Methods}$: We collected 944 release notes and 1,046,862 user reviews from 5 mobile apps in the Apple App Store as research data to evaluate the effectiveness and accuracy of $ extit{RoseMatcher}$, and conducted deep content analysis on matched pairs. $ extbf{Results}$: Our evaluation shows that $ extit{RoseMatcher}$ can reach a hit ratio of 0.718 for identifying relevant matched pairs, and with the manual labeling and content analysis of 984 relevant pairs, we identify 8 roles that user reviews play in app updates according to the relationship between release notes and user reviews in the relevant matched pairs. $ extbf{Conclusions}$: Our findings indicate that both app development teams and users pay close attention to release notes and user reviews, with release notes typically addressing feature requests, bug reports, and complaints, and user reviews offering positive, negative, and constructive feedback. Overall, the study highlights the importance of the communication between app development teams and users in the release planning of mobile apps, with relevant reviews tending to be posed within a short period before and after the release of release notes, with the average time interval between the post time of release notes and user reviews being approximately one year.

研究动机与目标

• 为填补对苹果 App Store 中用户评论与应用发布说明之间关联理解的空白。
• 自动识别非正式用户评论与正式发布说明之间的高置信度匹配，减少人工标注工作量。
• 基于内容和时间模式，分析用户评论在推动或响应应用更新中所起的作用。
• 探索应用开发团队与用户之间通过发布说明和评论实现的相互响应关系。
• 评估评论与发布说明互动的时间动态，特别是反馈相对于更新的时间关系。

提出的方法

• RoseMatcher 结合语义相似度和基于关键词的匹配，识别每个发布说明的相关用户评论。
• 该方法使用基于嵌入的语义匹配（例如，句子转换器）来检测尽管语言表达不同但语义相似的文本对。
• 采用混合评分机制，同时加权语义相似度和关键词精确重叠，以提高精确度。
• 该方法在苹果 App Store 中 5 个 iOS 应用的 944 条发布说明和超过 100 万条用户评论上进行了评估。
• 通过人工标注 984 对匹配结果，实现了对内容角色和时间模式的定性和定量分析。
• 时间分析将评论的发布时长与说明的发布时间进行比较，以识别反馈的时间模式。

实验结果

研究问题

• RQ1 在移动应用生态系统中，用户评论与官方发布说明之间的相关性程度如何？
• RQ2 用户评论在影响或响应应用更新中扮演了哪些角色，这些角色在发布说明中如何体现？
• RQ3 用户评论的时间模式与新应用版本发布之间有何关联？
• RQ4 自动化匹配在保持高精确度的同时，能在多大程度上减少人工标注工作量？
• RQ5 用户反馈的内容与时间动态如何与官方发布说明相关联？

主要发现

• RoseMatcher 在识别相关评论-发布说明配对中实现了 0.718 的命中率，表明其在自动化匹配方面具有高度有效性。
• 发布说明与相关用户评论之间的平均时间间隔约为一年，大多数反馈出现在发布前后不久。
• 在应用更新中识别出用户评论的八种不同角色：功能请求、错误报告、抱怨、赞扬、批评、问题、新想法和后续报告。
• 用户评论经常作为新版本发布的触发因素，开发团队通过在发布说明中包含修复或功能增强来响应功能请求和错误报告。
• 用户也通过提供赞扬、批评或新功能建议等方式对发布说明做出反馈，表明存在双向沟通回路。
• 大量匹配对显示出较长的时间间隔（长达三年），表明用户参与存在延迟，或报告的问题解决时间被延迟。