[论文解读] The Case for RodentStore, an Adaptive, Declarative Storage System

Philippe Cudré-Mauroux, Eugene Wu+1 more|ArXiv.org|Sep 9, 2009

Advanced Database Systems and Queries参考文献 23被引用 17

一句话总结

RodentStore 提出了一种声明式、自适应的存储系统，使数据库管理员能够使用高级代数表达式指定数据布局，自动优化物理存储以提升性能。通过将模式映射表示为代数表达式——以特定顺序对行、列和数组进行分组——该系统可为多样化工作负载提供高效存储，其在地理空间传感器数据用例中的表现展示了显著的性能提升。

ABSTRACT

Recent excitement in the database community surrounding new applications?analytic, scientific, graph, geospatial, etc.?has led to an explosion in research on database storage systems. New storage systems are vital to the database community, as they are at the heart of making database systems perform well in new application domains. Unfortunately, each such system also represents a substantial engineering effort including a great deal of duplication of mechanisms for features such as transactions and caching. In this paper, we make the case for RodentStore, an adaptive and declarative storage system providing a high-level interface for describing the physical representation of data. Specifically, RodentStore uses a declarative storage algebra whereby administrators (or database design tools) specify how a logical schema should be grouped into collections of rows, columns, and/or arrays, and the order in which those groups should be laid out on disk. We describe the key operators and types of our algebra, outline the general architecture of RodentStore, which interprets algebraic expressions to generate a physical representation of the data, and describe the interface between RodentStore and other parts of a database system, such as the query optimizer and executor. We provide a case study of the potential use of RodentStore in representing dense geospatial data collected from a mobile sensor network, showing the ease with which different storage layouts can be expressed using some of our algebraic constructs and the potential performance gains that a RodentStore-built storage system can offer.

研究动机与目标

• 为应对分析、科学计算和地理空间处理等新兴应用领域日益增长的专用存储系统需求。
• 通过将物理存储布局抽象为声明式接口，减少存储系统开发中的工程重复。
• 使数据库设计者和工具能够表达最优的数据组织方式，而无需关注底层实现细节。
• 通过将模式设计与物理存储实现解耦，提升性能和可维护性。

提出的方法

• RodentStore 采用声明式存储代数，允许指定逻辑模式如何被组织为行、列或数组。
• 管理员使用描述磁盘上数据分组与排序方式的代数表达式定义存储布局。
• 系统解析这些表达式，自动生成优化的物理数据表示。
• 它与查询优化器和执行器集成，实现从逻辑模式到物理存储的端到端优化。
• 该架构通过运行时动态重新配置存储布局，支持对工作负载变化的自适应调整。
• 它使用模块化接口将存储逻辑与查询处理解耦，支持在不同数据库系统中复用。

实验结果

研究问题

• RQ1 声明式接口在多大程度上可简化现代数据库系统中复杂物理存储布局的指定？
• RQ2 通过为特定工作负载自动生成优化的存储布局，可实现多大的性能提升？
• RQ3 统一的代数模型能否有效表达不同数据类型（如地理空间或分析型数据）的多样化存储模式？
• RQ4 声明式存储布局指定在多大程度上可减少自定义存储引擎之间的实现重复？
• RQ5 在动态工作负载中，自适应存储布局选择能在多大程度上提升查询性能？

主要发现

• RodentStore 通过高级声明式代数支持复杂存储布局的指定，显著减少了对低级存储工程的依赖。
• 该系统在移动传感器网络产生的密集地理空间数据上应用时，表现出显著的性能提升。
• 通过代数构造，可轻松表达和比较不同的存储布局，如列式、行式或数组式。
• 声明式接口使数据库设计工具能够自动生成高效的存储配置。
• 与查询优化器的集成实现了端到端优化，提升了查询执行效率。
• 通过抽象缓存和事务等通用机制，该方法减少了存储系统之间的代码重复。