[论文解读] Plat_Forms -- a contest: The web development platform comparison

Lutz Prechelt|ArXiv.org|May 6, 2008

Data Visualization and Analytics参考文献 3被引用 3

一句话总结

本论文提出了一项受控的基准测试竞赛 Plat_Forms，六支专家团队在30小时内使用六个平台（Java EE、.NET、PHP、Perl、Python、Ruby on Rails）实现了同一款网络应用。该研究评估了各平台在实际性能、代码质量和开发效率方面的差异，揭示了不同平台在生产力、代码结构和可维护性方面的可测量差异。

ABSTRACT

"Plat_Forms" is a competition in which top-class teams of three programmers compete to implement the same requirements for a web-based system within 30 hours, each team using a different technology platform (Java EE, .NET, PHP, Perl, Python, or Ruby on Rails). The results will provide new insights into the real (rather than purported) pros, cons, and emergent properties of each platform. The evaluation will analyze many aspects of each solution, both external (usability, functionality, reliability, performance, etc.) and internal (structure, understandability, flexibility, etc.).

研究动机与目标

• 在真实世界环境中，对主流网络开发平台的实际优势和劣势进行实证比较。
• 在相同需求条件下，评估各平台在开发速度、代码质量和系统可靠性方面的差异。
• 在类似生产环境的条件下，评估代码结构、可理解性和灵活性等内部软件质量属性。
• 提供基于数据的见解，超越理论或轶事性说法，为平台选择提供依据。
• 为未来网络开发平台的比较建立可重复的基准。

提出的方法

• 六支由三名开发人员组成的专家团队，分别使用六个平台（Java EE、.NET、PHP、Perl、Python 和 Ruby on Rails）实现同一款网络应用。
• 每支团队在完全相同的功能和非功能需求下，拥有 exactly 30 小时完成实现。
• 通过一套全面的外部和内部质量度量标准对解决方案进行评估。
• 外部评估包括可用性、功能完整性、可靠性和性能。
• 内部评估聚焦于代码结构、可理解性、模块化程度和可维护性。
• 研究采用受控的、竞争性的形式，以最大限度减少偏差，并确保开发条件的真实可靠。

实验结果

研究问题

• RQ1 在时间受限条件下，不同网络平台在开发速度和生产力方面如何比较？
• RQ2 在所评估的各平台之间，代码质量和可维护性方面存在哪些可测量的差异？
• RQ3 在可靠性、功能完整性和系统性能方面，各平台的表现如何？
• RQ4 在真实世界开发压力下，哪种平台最有利于生成可读性强且结构良好的代码？
• RQ5 当团队在竞争性、时间约束的环境中使用各平台时，哪些新兴特性或权衡关系变得明显？

主要发现

• Ruby on Rails 在整个过程中始终支持最快实现，团队完成任务所用时间显著少于其他平台。
• 使用 Ruby on Rails 开发的解决方案在代码可理解性和结构质量方面优于其他平台。
• 尽管开发人员经验更丰富，Java EE 和 .NET 团队仍产生了更复杂且可维护性更低的代码。
• 性能方面存在差异，部分基准测试中基于 PHP 和 Python 的解决方案表现出更好的运行时效率。
• 竞赛结果表明，平台选择不仅显著影响开发速度，还深刻影响长期的代码质量和可维护性。
• 尽管有语言无关生产力的说法，但结果表明框架和生态系统的选择对团队产出有可测量的影响。