[论文解读] Use of Docker for deployment and testing of astronomy software

D. Morris, S. Voutsinas+2 more|Edinburgh Research Explorer|Jul 11, 2017

Distributed and Parallel Computing Systems参考文献 1被引用 4

一句话总结

本文评估了Docker作为部署和测试天文学软件的容器化解决方案的适用性，通过两个项目展示了其在可复现性、可移植性和简化依赖管理方面的优势：一个LaTeX文档系统和一个虚拟天文台（Virtual Observatory）数据访问服务。主要贡献在于证明了Docker在创建一致、隔离的环境方面的有效性，从而增强了天文学领域中协作效率，并简化了科学软件的部署流程。

ABSTRACT

We describe preliminary investigations of using Docker for the deployment and testing of astronomy software. Docker is a relatively new containerisation technology that is developing rapidly and being adopted across a range of domains. It is based upon virtualization at operating system level, which presents many advantages in comparison to the more traditional hardware virtualization that underpins most cloud computing infrastructure today. A particular strength of Docker is its simple format for describing and managing software containers, which has benefits for software developers, system administrators and end users. We report on our experiences from two projects -- a simple activity to demonstrate how Docker works, and a more elaborate set of services that demonstrates more of its capabilities and what they can achieve within an astronomical context -- and include an account of how we solved problems through interaction with Docker's very active open source development community, which is currently the key to the most effective use of this rapidly-changing technology.

研究动机与目标

• 评估Docker在复杂、多组件系统中部署和测试天文学软件的可行性。
• 解决天文数据中心中不同计算环境中软件可移植性和环境一致性方面的挑战。
• 评估Docker在促进可复现科学和提升开发者与系统管理员之间协作方面的角色。
• 记录天文项目中真实部署的实际经验与解决方案。
• 强调社区驱动开发在推进科学计算领域容器技术发展中的重要性。

提出的方法

• 使用Docker容器封装软件组件，包括Web服务和应用栈，实现在多种环境中的统一部署。
• 利用官方和自定义Docker镜像，特别是基于标准操作系统发行版和特定应用镜像（如Tomcat）的镜像。
• 通过Docker Compose实现容器编排，将数据库、Web服务器和API等多个服务整合到单一环境中。
• 使用Dockerfile定义并自动化自定义容器的构建过程，确保可复现性。
• 将Docker集成到持续集成与测试工作流中，统一开发与生产环境。
• 积极参与Docker开源社区，解决新兴问题，并推动容器技术的发展。

实验结果

研究问题

• RQ1 Docker在多大程度上能够提升天文学软件部署的可复现性与可移植性？
• RQ2 在天文学科学软件中使用Docker的实际挑战有哪些？如何加以缓解？
• RQ3 Docker在多大程度上提升了开发者与系统管理员之间的协作效率和环境一致性？
• RQ4 与基于传统虚拟机的解决方案相比，Docker在天文学工作负载的性能和可维护性方面表现如何？
• RQ5 社区参与在容器技术（如Docker）于科学计算领域中的有效采用与持续演进中扮演何种角色？

主要发现

• Docker显著提升了环境一致性，降低了配置复杂度，确保了软件在开发、测试和生产环境中的行为完全一致。
• 通过使用Dockerfile和容器镜像，实现了可靠、可重复的构建过程，并简化了天文学软件栈的依赖管理。
• 通过Docker实现的容器化增强了协作效率，使开发者仅需共享Docker镜像或Dockerfile，即可保证运行时环境完全一致。
• 诸如网络配置和卷挂载等问题，通过积极与Docker社区互动得以解决，凸显了在快速演进的技术中社区支持的重要性。
• 项目表明，Docker非常适合用于部署复杂、多服务的天文学应用（如符合VO标准的数据访问服务），并显著提升了可维护性与可扩展性。
• 作者预计，由于Docker在支持可复现科学和高效系统部署方面的强大能力，其在天文学领域将获得广泛采用，类似容器技术也将随之普及。