[论文解读] Sourcerer's Apprentice and the study of code snippet migration

Stephen Romansky, Cheng Chen+2 more|arXiv (Cornell University)|Jul 31, 2018

Software Engineering Research参考文献 35被引用 4

一句话总结

该论文介绍了Sourcerer's Apprentice，一个网络服务，可检测从Stack Overflow到Python模块及文档等开源项目中的代码克隆迁移，揭示了广泛存在的再许可和署名违规问题。研究发现，Stack Overflow上存在68,491个Python 2.7文档克隆未正确署名，且与CC-BY-SA 3.0许可协议冲突，导致开发者和企业因不当重用而面临法律风险。

ABSTRACT

On the worldwide web, not only are webpages connected but source code is too. Software development is becoming more accessible to everyone and the licensing for software remains complicated. We need to know if software licenses are being maintained properly throughout their reuse and evolution. This motivated the development of the Sourcerer's Apprentice, a webservice that helps track clone relicensing, because software typically employ software licenses to describe how their software may be used and adapted. But most developers do not have the legal expertise to sort out license conflicts. In this paper we put the Apprentice to work on empirical studies that demonstrate there is much sharing between StackOverflow code and Python modules and Python documentation that violates the licensing of the original Python modules and documentation: software snippets shared through StackOverflow are often being relicensed improperly to CC-BY-SA 3.0 without maintaining the appropriate attribution. We show that many snippets on StackOverflow are inappropriately relicensed by StackOverflow users, jeopardizing the status of the software built by companies and developers who reuse StackOverflow snippets.

研究动机与目标

• 调查在Stack Overflow上分享的代码片段在被复制到Python等开源项目时，是否存在不当再许可和署名问题。
• 评估Stack Overflow与开源软件仓库之间代码的双向流动，挑战单向传播的假设。
• 开发一个可扩展的网络服务，以检测许可不一致的代码克隆，帮助开发者避免因不当重用而产生的法律风险。
• 揭示在社区平台广泛使用的代码片段中，因缺少署名和许可协议不兼容而带来的风险。
• 为开发者、Stack Overflow和开源基金会提供可操作的建议，以改善许可合规性和署名实践。

提出的方法

• 作者扩展了SourcererCC——一种最先进的代码克隆检测工具，以实现在Stack Overflow帖子、Python 2.7模块及文档之间大规模、分布式的克隆检测。
• 将Ninka（一种许可推断工具）与递归许可推断机制集成，以提高在大规模代码语料中检测许可的准确性。
• 系统采用异步任务并行化和分布式数据分片技术，实现水平可扩展性并减少查询响应时间。
• 通过性能剖析和索引管道调优实现性能优化，以分摊启动成本并提升索引效率。
• 该网络服务支持四大核心用例：检测Stack Overflow与练习题之间的克隆、文档与Stack Overflow之间的克隆、学生作业内部的克隆，以及软件项目与更广泛代码库之间的克隆。
• 通过1,000个流行的pip包和Python 2.7文档进行实证分析，结果通过克隆检测和许可冲突分析得到验证。

实验结果

研究问题

• RQ1 Python模块和文档中的代码片段在未正确署名或未遵守许可协议的情况下，被复制到Stack Overflow的程度有多大？
• RQ2 当代码从开源项目迁移到Stack Overflow时，为何会出现许可协议冲突，特别是在CC-BY-SA 3.0与MIT许可代码之间？
• RQ3 Stack Overflow与开源项目之间的代码流动是单向的，还是存在显著的反向传播（即从开源项目流向Stack Overflow）？
• RQ4 在Stack Overflow上被克隆的Python软件基金会文档片段中，缺少署名的比例有多高？
• RQ5 Sourcerer's Apprentice网络服务在大规模检测许可不一致的代码克隆方面效果如何？

主要发现

• 在Stack Overflow上，有68,491个Python 2.7文档克隆未正确署名Python软件基金会，仅有四个可能提供了正确署名。
• 在Stack Overflow上，来自MIT许可的pip模块的46,709个克隆与Stack Overflow施加的CC-BY-SA 3.0许可协议冲突，造成许可不兼容。
• Stack Overflow与开源项目之间的代码流动是双向的，存在显著的从开源项目向Stack Overflow的代码迁移，这与单向传播的假设相悖。
• 66%的Stack Overflow用户不了解其代码适用的CC-BY-SA 3.0许可协议，增加了无意中违反许可的风险。
• Sourcerer's Apprentice网络服务通过分布式索引、并行化和性能优化，成功实现了大规模克隆和许可冲突的检测。
• 本研究揭示，依赖Stack Overflow代码片段的开发者和企业因缺少署名和许可协议不兼容而面临法律风险，可能导致其软件分发权无效。