[论文解读] StackOverflow vs Kaggle: A Study of Developer Discussions About Data Science

David Hin|arXiv (Cornell University)|Jun 6, 2020

Software Engineering Research被引用 7

一句话总结

本研究利用LDA主题模型分析了来自StackOverflow和Kaggle的197,836条开发者讨论，比较了两个平台在数据科学话题上的讨论差异。研究发现，StackOverflow更关注TensorFlow的底层调试问题，而Kaggle则聚焦于实际的排行榜优化和集成方法，同时对Keras的兴趣持续上升，整体数据科学讨论热度也持续增长。

ABSTRACT

Software developers are increasingly required to understand fundamental Data science (DS) concepts. Recently, the presence of machine learning (ML) and deep learning (DL) has dramatically increased in the development of user applications, whether they are leveraged through frameworks or implemented from scratch. These topics attract much discussion on online platforms. This paper conducts large-scale qualitative and quantitative experiments to study the characteristics of 197836 posts from StackOverflow and Kaggle. Latent Dirichlet Allocation topic modelling is used to extract twenty-four DS discussion topics. The main findings include that TensorFlow-related topics were most prevalent in StackOverflow, while meta discussion topics were the prevalent ones on Kaggle. StackOverflow tends to include lower-level troubleshooting, while Kaggle focuses on practicality and optimising leaderboard performance. In addition, across both communities, DS discussion is increasing at a dramatic rate. While TensorFlow discussion on StackOverflow is slowing, interest in Keras is rising. Finally, ensemble algorithms are the most mentioned ML/DL algorithms in Kaggle but are rarely discussed on StackOverflow. These findings can help educators and researchers to more effectively tailor and prioritise efforts in researching and communicating DS concepts towards different developer communities.

研究动机与目标

• 理解StackOverflow和Kaggle上开发者社区如何讨论数据科学话题。
• 识别两个平台在主题流行度、技术深度和讨论焦点方面的差异。
• 分析数据科学讨论随时间的演变趋势，特别是TensorFlow和Keras等热门工具的变化。
• 考察特定机器学习算法（尤其是集成方法）在两个社区中的显著程度。
• 为教育工作者和研究人员提供平台特异性沟通模式的信息，以促进知识的有效传播。

提出的方法

• 应用隐含狄利克雷分布（LDA）从197,836篇帖子中提取出24个独立的数据科学讨论主题。
• 从StackOverflow和Kaggle收集了关于数据科学、机器学习和深度学习的讨论帖子。
• 采用主题建模方法识别并比较两个平台上最常讨论的主题。
• 分析了讨论量和主题流行度随时间的变化趋势。
• 量化了特定工具（如TensorFlow、Keras）和算法（如集成方法）在两个社区中的出现频率。
• 结合定性与定量分析，评估讨论焦点的差异，例如调试问题与性能优化。

实验结果

研究问题

• RQ1 StackOverflow和Kaggle上分别最常讨论的数据科学话题是什么？
• RQ2 StackOverflow和Kaggle的讨论在技术层级和关注领域上存在哪些差异？
• RQ3 随着时间推移，TensorFlow和Keras等特定机器学习框架的流行度变化趋势如何？
• RQ4 为何集成算法在Kaggle上频繁被提及，而在StackOverflow上却很少被讨论？
• RQ5 两个平台上的数据科学相关讨论量如何随时间增长？

主要发现

• TensorFlow相关主题在StackOverflow上最为普遍，反映出其在底层实现与调试中的核心作用。
• 元讨论（如竞赛规则和数据共享）是Kaggle上最常见的主题，表明社区更注重协作与规则共识。
• StackOverflow的讨论主要围绕底层调试问题，而Kaggle的讨论则更强调实用性与排行榜性能优化。
• Kaggle上对Keras的兴趣持续上升，而StackOverflow上与TensorFlow相关的讨论则趋于放缓，表明框架偏好的转变趋势。
• 在Kaggle上，集成算法是被提及最频繁的机器学习/深度学习算法，但在StackOverflow上却极少被讨论。
• 总体而言，两个平台的数据科学讨论量正在迅速增长，尤其在机器学习和深度学习话题上，社区参与度显著提升。