[论文解读] They'll Know It When They See It: Analyzing Post-Release Feedback from the Android Community

Sherlock A. Licorish, Chan Won Lee+3 more|arXiv (Cornell University)|Jan 1, 2015

Privacy, Security, and Data Protection参考文献 25被引用 1

一句话总结

本研究应用自然语言处理（NLP）技术分析Android社区的发布后功能增强请求，识别出用户反馈中频繁提及的功能改进需求及模式。研究发现，联系人、屏幕、通知和通话功能是最常被请求改进的特性，其中Jellybean版本受到最多批评；同时用户常将多个问题归为一组，增加了开发者的优先级排序难度。

ABSTRACT

It is known that user involvement and user-centered design enhance system acceptance, particularly when end-users' views are considered early in the process. However, the increasingly common method of system deployment, through frequent releases via an online application distribution platform, relies more on post-release feedback from a virtual community. Such feedback may be received from large and diverse communities of users, posing challenges to developers in terms of extracting and identifying the most pressing requests to address. In seeking to tackle these challenges we have used natural language processing techniques to study enhancement requests logged by the Android community. We observe that features associated with a specific subset of topics were most frequently requested for improvement, and that end-users expressed particular discontent with the Jellybean release. End-users also tended to request improvements to specific issues together, potentially posing a prioritization challenge to Google.

研究动机与目标

• 理解Android虚拟社区中发布后反馈的性质与模式。
• 识别出最频繁被请求改进的Android功能。
• 检验特定Android版本是否比其他版本吸引更多功能增强请求。
• 探究用户是否倾向于在反馈中将多个功能请求归为一组。
• 评估NLP与网络分析在从大规模非结构化用户反馈中提取可操作洞察方面的有效性。

提出的方法

• 从公开的Android问题追踪系统中收集并分析了1,000多条功能增强请求。
• 应用自然语言处理（NLP）技术提取并分类与功能相关的请求。
• 使用点互信息（PMI）识别共现的功能请求，检测用户反馈中分组模式。
• 采用复杂网络理论建模功能增强请求之间的关系。
• 计算肯德尔等级相关系数（τ）以评估功能共现模式的统计显著性。
• 根据主要Android操作系统版本的发布日期对问题进行分组，以分析各发布周期内的请求数量与趋势。

实验结果

研究问题

• RQ1 在发布后的反馈中，哪些Android功能最常被请求改进？
• RQ2 与其它版本相比，特定Android版本是否产生了更高数量的功能增强请求？
• RQ3 用户在反馈中将多个功能请求归为一组的程度如何？
• RQ4 功能增强请求的频率与分布如何与软件成熟度及发布周期相匹配？
• RQ5 NLP与网络分析技术能否有效识别大规模非结构化用户反馈中的可操作模式？

主要发现

• 最常被请求改进的功能包括联系人、屏幕、通知、通话、日历、邮件、文本输入和键盘，其中'api'也受到开发者的显著关注。
• Jellybean版本收到的增强请求最多，表明用户存在显著的不满情绪。
• 功能请求频率与关注者数量之间存在显著正相关（p < 0.01），表明常见问题具有更高的可见性。
• 共现性分析显示，用户经常将联系人、屏幕、通知、文本和键盘的功能请求组合在一起，表明存在相互关联的可用性问题。
• 关于'屏幕'和'音量'的请求经常共同出现，提示可能需要集成化的界面控制功能。
• 本研究未发现明显的80-20法则适用，因为增强请求在多个功能间分布更均匀，而非集中在少数几个功能上。