[论文解读] The Application of Cloud Computing to Astronomy: A Study of Cost and Performance

G. Bruce Berriman, Ewa Deelman+3 more|arXiv (Cornell University)|Oct 22, 2010

Scientific Computing and Data Management参考文献 2被引用 27

一句话总结

本文评估了在亚马逊EC2上运行天文科学工作流的云计算性能，证明对于周期图计算等CPU和内存密集型任务，与高性能计算集群相比，云环境在成本和性能方面表现更优。研究成功在26.8小时内以303.06美元的成本生成了包含210,000条光曲线的周期图图谱，证实云计算是系外行星研究中大规模科学数据处理的可扩展、高性价比解决方案。

ABSTRACT

Cloud computing is a powerful new technology that is widely used in the business world. Recently, we have been investigating the benefits it offers to scientific computing. We have used three workflow applications to compare the performance of processing data on the Amazon EC2 cloud with the performance on the Abe high-performance cluster at the National Center for Supercomputing Applications (NCSA). We show that the Amazon EC2 cloud offers better performance and value for processor- and memory-limited applications than for I/O-bound applications. We provide an example of how the cloud is well suited to the generation of a science product: an atlas of periodograms for the 210,000 light curves released by the NASA Kepler Mission. This atlas will support the identification of periodic signals, including those due to transiting exoplanets, in the Kepler data sets.

研究动机与目标

• 评估云计算（亚马逊EC2）与高性能计算集群（HPC）在科学工作流中的成本与性能表现。
• 识别哪些类型的科学应用——尤其是天文学领域——在性能和成本方面最受益于云部署。
• 证明利用云资源生成新科学产品（即开普勒任务光曲线周期图图谱）的可行性和价值。
• 对比基于云的处理与传统HPC在I/O密集型、内存受限和CPU密集型工作流中的表现。
• 为科学界提供关于商业云与机构HPC资源之间战略选择的指导。

提出的方法

• 评估了三种不同的科学工作流：Montage（I/O密集型图像拼接）、Broadband（内存密集型地震模拟）和Epigenome（CPU密集型DNA映射）。
• 在亚马逊EC2上执行每项工作流，并与NCSA的Abe HPC集群在运行时间、成本和资源利用率方面进行对比。
• 使用标准化输入数据，测量了墙钟时间、总CPU时间、输入/输出数据量及货币成本。
• 在EC2上使用三种算法（Lomb-Scargle、Plavchan和一种自定义方法）成功生成了210,664条开普勒光曲线的完整周期图图谱。
• 并行配置了128个虚拟处理器，采用固定周期采样（0.04–16.75天，间隔0.001天），并记录了总处理时间和成本。
• 分析了成本构成，包括计算、数据传输和存储成本，并评估了可扩展性和按需配置的优势。

实验结果

研究问题

• RQ1 与HPC集群相比，哪些类型的科学工作流——CPU密集型、内存密集型或I/O密集型——在亚马逊EC2上能实现最佳性能和成本效率？
• RQ2 基于云的处理在大规模天文数据处理（如开普勒光曲线的周期图计算）中与传统HPC相比表现如何？
• RQ3 在商业云上处理大规模科学数据集时，主要成本构成（计算、数据传输、存储）是什么？
• RQ4 云计算能否有效支持生成如公共天文数据集中周期图图谱等新型、复杂科学产品？
• RQ5 在计算需求各异的科学工作流中，使用商业云与机构HPC系统之间的权衡是什么？

主要发现

• 对于CPU密集型和内存受限的工作流，云环境优于HPC集群，Epigenome和Broadband工作流在EC2上表现出显著性能提升。
• Montage作为I/O密集型工作流，在EC2上表现较差，这是由于I/O延迟较高，证实了具备高速网络和并行文件系统的HPC集群在I/O密集型任务中仍具优势。
• 成功在26.8小时内使用128个EC2处理器生成了210,664条开普勒光曲线的周期图图谱，总成本为303.06美元。
• 计算成本占总成本的96.2%（291.58美元），而数据传输成本为11.48美元，主要因输出数据量达76.52 GB而显著。
• 云环境支持按需配置和快速作业调度，相比传统网格系统降低了延迟，这对时间敏感的科学分析至关重要。
• 尽管绝对成本较低，但本研究警告称，成本会随数据量和参数空间的扩大而增长，提示商业云可能并非超大规模或长期运行计算任务的最优选择。