[论文解读] R-GMA: First results after deployment

Rob Byrom, Brian Coghlan+19 more|ArXiv.org|May 30, 2003

Distributed and Parallel Computing Systems参考文献 1被引用 10

一句话总结

R-GMA 是一种基于关系型网格监控架构，利用基于 SQL 的数据建模，为跨虚拟组织的分布式网格信息提供统一、可查询的视图。它支持多种查询类型（历史、最新、连续），并支持五种不同的生产者类型，通过中介者将查询路由至最优生产者；部署结果显示系统可支持每30秒发布一次的40至50个站点，且已识别出性能瓶颈以供优化。

ABSTRACT

We describe R-GMA (Relational Grid Monitoring Architecture) which is being developed within the European DataGrid Project as an Grid Information and Monitoring System. Is is based on the GMA from GGF, which is a simple Consumer-Producer model. The special strength of this implementation comes from the power of the relational model. We offer a global view of the information as if each VO had one large relational database. We provide a number of different Producer types with different characteristics; for example some support streaming of information. We also provide combined Consumer/Producers, which are able to combine information and republish it. At the heart of the system is the mediator, which for any query is able to find and connect to the best Producers to do the job. We are able to invoke MDS info-provider scripts and publish the resulting information via R-GMA in addition to having some of our own sensors. APIs are available which allow the user to deploy monitoring and information services for any application that may be needed in the future. We have used it both for information about the grid (primarily to find what services are available at any one time) and for application monitoring. R-GMA has been deployed in Grid testbeds, we describe the results and experiences of this deployment.

研究动机与目标

• 基于 GGF GMA 模型设计一种可扩展、互操作的网格信息与监控系统。
• 利用关系模型的表达能力，实现对异构分布式网格数据源的统一、复杂查询。
• 通过专用生产者类型（如流式、容错型、最新值型）支持多样化的监控工作负载。
• 通过中介者动态发现并路由数据，为每项查询选择最优生产者，实现高效、动态的数据发现与路由。
• 在真实网格测试环境中进行系统部署与评估，以检验其性能与鲁棒性。

提出的方法

• R-GMA 使用关系型数据库实现 GMA 消费者-生产者模型，其中生产者通过 SQL 的 CREATE TABLE 语句注册，并使用 SQL 的 INSERT 语句发布数据。
• 系统支持五种生产者类型：DataBaseProducer（持久化 RDBMS 存储）、StreamProducer（内存流式传输）、ResilientStreamProducer（磁盘备份流式传输）、LatestProducer（最新值存储）以及 CanonicalProducer（代码触发查询）。
• 消费者发出 SQL SELECT 查询，中介者根据查询类型和数据可用性，将查询路由至最合适的生产者。
• 系统使用注册表（目录服务）注册生产者和消费者，采用软状态注册机制以提高容错能力。
• 系统基于 Java Servlet 构建，通过 SWIG 支持多种 API（Java、C++、C、Python、Perl），并计划迁移至 OGSA Web 服务。
• 中介者可动态发现并连接至每项查询的最佳生产者，实现分布式、可扩展的数据检索。

实验结果

研究问题

• RQ1 关系模型能否有效统一并查询来自异构、自治的分布式网格监控数据源的监控数据？
• RQ2 在多个站点并发发布的情况下，基于关系型的网格监控系统性能如何扩展？
• RQ3 在高吞吐量、低延迟的网格监控系统中，使用基于 SQL 的生产者时，性能瓶颈在哪里？
• RQ4 基于中介者的路由系统能否高效地为不同查询类型（历史、最新、连续）选择最优生产者？
• RQ5 软状态注册在瞬时故障期间对维持系统韧性有多有效？

主要发现

• R-GMA 在真实测试环境中成功支持了每30秒发布一次的40至50个网格站点，证明了其在实际场景中的可扩展性。
• 在生产者中缓冲元组对系统吞吐量影响甚微，表明性能瓶颈存在于其他环节，如 Tomcat 或 JVM 配置。
• 系统在混合使用多种生产者类型（包括归档器向最新值生产者馈送数据）的情况下实现了稳定运行，证实了数据一致性和数据流完整性。
• 通过调整 Tomcat 设置、JVM 参数以及增加物理内存，预计可进一步提升吞吐量。
• 未来将架构调整为在多个最新值生产者归档中分布执行查询，可显著提升可扩展性并减轻单个节点的负载。
• 系统对软状态注册的依赖被证明在保持生产者和消费者最新发现方面非常有效，确保了系统的鲁棒性。