[论文解读] SkyQuery: A WebService Approach to Federate Databases

Tanu Malik, Alexander S. Szalay+2 more|ArXiv.org|Nov 20, 2002

Advanced Database Systems and Queries参考文献 21被引用 59

一句话总结

SkyQuery 提出了一种基于 Web 服务的架构，将异构天文学数据库整合为虚拟天文台，实现了对概率性联邦空间连接查询的高效评估。通过利用标准化的 Web 服务，它在自治档案之间实现了无缝互操作性，展示了在分布式数据源上可扩展的实时查询处理能力。

ABSTRACT

Traditional science searched for new objects and phenomena that led to discoveries. Tomorrow's science will combine together the large pool of information in scientific archives and make discoveries. Scienthists are currently keen to federate together the existing scientific databases. The major challenge in building a federation of these autonomous and heterogeneous databases is system integration. Ineffective integration will result in defunct federations and under utilized scientific data. Astronomy, in particular, has many autonomous archives spread over the Internet. It is now seeking to federate these, with minimal effort, into a Virtual Observatory that will solve complex distributed computing tasks such as answering federated spatial join queries. In this paper, we present SkyQuery, a successful prototype of an evolving federation of astronomy archives. It interoperates using the emerging Web services standard. We describe the SkyQuery architecture and show how it efficiently evaluates a probabilistic federated spatial join query.

研究动机与目标

• 解决将自治的、异构的天文学数据库整合到统一系统中的挑战。
• 实现在分布式科学档案之间高效执行复杂联邦空间连接查询。
• 通过使用标准化 Web 服务实现互操作性，降低集成开销。
• 通过支持实时数据发现与分析，推动新兴的虚拟天文台愿景。
• 展示一个可扩展、可投入生产的原型，用于科学数据联邦化。

提出的方法

• 设计基于 Web 服务的中间件层，用于在客户端查询与分布式天文学数据库之间进行中介。
• 使用标准化的 Web 服务协议（例如 SOAP、WSDL）以确保平台和模式的互操作性。
• 实现一个查询优化器，用于处理跨多个数据源的概率性空间连接。
• 利用每个档案的元数据描述，将客户端查询映射到各个数据源端点。
• 支持异步和同步查询执行，以适应不同源之间响应时间的差异。
• 采用联邦查询执行引擎，协调来自多个自治数据库的结果。

实验结果

研究问题

• RQ1 如何通过轻量级、标准化的 Web 服务有效联邦化异构的、自治的天文学数据库？
• RQ2 哪些架构模式能够实现在分布式档案之间高效执行概率性联邦空间连接查询？
• RQ3 Web 服务能否为天文学中的实时科学数据发现提供足够的性能和可扩展性？
• RQ4 如何抽象元数据和模式异构性，以实现无缝的查询路由？
• RQ5 使用现有 Web 服务标准构建生产级虚拟天文台是否可行？

主要发现

• SkyQuery 成功展示了通过 Web 服务实现多个自治天文学数据库之间的互操作性。
• 该系统在分布式源之间以低延迟高效评估了概率性联邦空间连接查询。
• 使用标准化的 Web 服务协议降低了集成复杂性，并实现了即插即用的可扩展性。
• 该架构支持实时查询执行，使在虚拟天文台环境中实现交互式数据探索成为可能。
• 该原型证明了可扩展性和可重用性，为未来科学领域大规模数据联邦化奠定了基础。
• 该方法显著减少了将新数据源集成到联邦系统中所需的工作量。