[论文解读] Sovereignty of the Apps: There's more to Relevance than Downloads

Stephan Sigg, Eemil Lagerspetz+3 more|arXiv (Cornell University)|Nov 29, 2016

Spam and Phishing Detection参考文献 34被引用 7

一句话总结

本论文基于来自339,842名用户的现实世界数据，首次对移动应用的留存率和使用趋势进行了大规模、独立的研究。论文提出了一种新颖的应用使用趋势过滤器，可将应用分类为典型类别——如热门（Hot）、失败（Flop）、主导（Dominant）或边缘（Marginal）——并表明40%的应用从未获得显著用户增长，仅有0.4%的应用始终保持高人气，同时证明结合趋势数据可提升移动应用推荐的准确性，从而聚焦于实时使用行为，而非可操纵的指标如下载量和评分。

ABSTRACT

The value of mobile apps is traditionally measured by metrics such as the number of downloads, installations, or user ratings. A problem with these measures is that they reflect actual usage at most indirectly. Indeed, analytic companies have suggested that retention rates, i.e., the number of days users continue to interact with an installed app are low. We conduct the first independent and large-scale study of retention rates and usage behavior trends in the wild. We study their impact on a large-scale database of app-usage data from a community of 339,842 users and more than 213,667 apps. Our analysis shows that, on average, applications lose 70% of their users in the first week, while very popular applications (top 100) lose only 45%. It also reveals, however, that many applications have more complex usage behavior patterns due to seasonality, marketing, or other factors. To capture such effects, we develop a novel app-usage behavior trend measure which provides instantaneous information about the "hotness" of an application. We identify typical trends in app popularity and classify applications into archetypes. From these, we can distinguish, for instance, trendsetters from copycat apps. In our results, roughly 40% of all apps never gain more than a handful of users. Less than 0.4% of the remaining 60% are constantly popular, 1% flop after an initial steep rise, and 7% continuously rise in popularity. We conclude by demonstrating that usage behavior trend information can be used to develop better mobile app recommendations. With the proposed usage-based measures (retention and trend), we are able to shift sovereignty in app recommendations back to where it really matters: actual usage statistics, in contrast to download count and user ratings which are prone to manipulation by people.

研究动机与目标

• 调查真实世界中移动应用的留存率和使用行为，超越传统的下载量和评分等指标。
• 识别仅依赖留存率衡量应用成功程度的局限性，特别是受季节性和外部因素影响时。
• 开发一种新颖的应用使用趋势过滤器，捕捉即时的流行趋势，并将应用分类为有意义的典型类别。
• 评估趋势指标对移动应用推荐系统的影响，提升推荐的新颖性和时间多样性。
• 将应用推荐的主导权从人为指标转向真实的用户参与模式。

提出的方法

• 从Carat项目收集了2012至2015年三年间，来自339,842台Android设备的大规模应用使用数据。
• 将留存率定义为自安装以来经过指定天数后仍与应用保持互动的用户百分比。
• 提出一种新颖的应用使用趋势过滤器，通过计算每日相对流行度，检测实时趋势模式，如热门（Hot）、失败（Flop）、主导（Dominant）或边缘（Marginal）。
• 根据其趋势行为，将应用分类为四种类别：热门（上升趋势）、失败（急剧下降）、主导（稳定高使用量）和边缘（持续低使用量）。
• 通过已知的热门和失败应用验证趋势过滤器，确认其分类准确性。
• 评估趋势信息对先进应用推荐系统的影响，衡量其在推荐准确性、新颖性和时间多样性方面的改进。

实验结果

研究问题

• RQ1 在真实环境中，移动应用的真实留存率是多少？其随应用流行度的变化如何？
• RQ2 传统指标如下载量和评分在多大程度上无法反映实际用户参与度？
• RQ3 季节性等外部因素如何影响应用使用趋势？能否实现定量捕捉？
• RQ4 实时应用使用趋势过滤器能否有效将应用分类为有意义的流行度典型类别？
• RQ5 趋势指标在多大程度上可改善移动应用推荐系统？

主要发现

• 平均而言，应用在安装后第一周内会流失70%的用户，但对于最受欢迎的前100款应用，这一比例降至45%。
• 仅有40%的应用能获得超过少量用户的关注，被归类为边缘应用。
• 在剩余的60%应用中，仅0.4%的应用始终保持高人气（主导类），1%的应用在初期短暂上升后变为失败（Flop），7%的应用呈现持续增长趋势（热门类）。
• 在第一周内流失超过80%用户的应用不足10%，这挑战了“此类流失普遍存在”的普遍认知。
• 在先进应用推荐系统生成的推荐中，仅有3.6%的目标应用正处于当前人气上升阶段，表明推荐系统在时间多样性和新颖性方面表现不足。
• 在推荐中引入趋势信息可提升准确性，并更好地与实时用户行为保持一致。