[论文解读] Yesquel: scalable SQL storage for Web applications

Marcos K. Aguilera, Joshua B. Leners+2 more|arXiv (Cornell University)|Nov 8, 2014

Advanced Database Systems and Queries参考文献 11被引用 5

一句话总结

Yesquel 是一种可扩展的、与 SQL 兼容的 Web 应用存储系统，结合了 SQL 的丰富查询能力与 NoSQL 系统的性能和可扩展性。它通过在每个客户端嵌入查询处理器，并基于事务性键值存储层构建分布式平衡树（DBT），实现了高吞吐量、低延迟的事务处理，支持完整的 SQL 功能并具备高效的分布式执行能力。

ABSTRACT

Based on a brief history of the storage systems for Web applications, we motivate the need for a new storage system. We then describe the architecture of such a system, called Yesquel. Yesquel supports the SQL query language and offers performance similar to NOSQL storage systems.

研究动机与目标

• 解决传统 SQL 数据库在现代 Web 应用中面对高吞吐量、低延迟工作负载时的可扩展性和性能限制。
• 通过提供完整的 SQL 支持而不牺牲性能，克服 NoSQL 系统固有的功能与可扩展性之间的权衡。
• 通过标准化的 SQL 接口实现应用在不同存储系统间的可移植性，消除供应商锁定。
• 设计一种支持分布式事务和可扩展查询处理的系统，无需依赖复杂的集中式协调机制或硬件时钟。
• 通过将查询处理与存储层紧密集成，实现对 Web 工作负载中典型的小型、频繁查询的高效、低延迟执行。

提出的方法

• 在每个应用实例中嵌入轻量级的客户端查询处理器，实现查询处理能力的水平扩展。
• 使用分布式平衡树（DBT）数据结构作为底层存储引擎，将节点分布在多个存储服务器上以实现负载均衡和性能优化。
• 在事务性键值存储系统之上构建 DBT，该系统在最低层提供分布式 ACID 事务。
• 利用分布式事务确保所有 DBT 操作的一致性和隔离性，从而实现高效且正确的并发访问。
• 将 SQL 查询映射到 DBT 上的操作，再将其转换为底层事务性存储层上的键值操作。
• 设计不依赖专用硬件时钟的分布式事务协议，提升可部署性并降低基础设施复杂度。

实验结果

研究问题

• RQ1 基于 SQL 的存储系统能否在保持完整 SQL 功能的同时，实现与 NoSQL 系统相当的性能？
• RQ2 如何高效地将分布式事务集成到类似 B-Tree 的数据结构中，以确保一致性和可扩展性？
• RQ3 何种架构模式能够同时实现查询处理的水平扩展和跨分布式存储节点的高效协调？
• RQ4 在 Web 规模工作负载中，将查询处理器嵌入客户端在多大程度上可以减少系统级瓶颈并提升吞吐量？
• RQ5 系统如何在分布式环境中提供完整的 SQL 支持，同时避免传统 RDBMS 在此类环境中常见的性能开销？

主要发现

• Yesquel 在支持完整 SQL 查询语言（包括连接、聚合和二级索引等丰富操作）的同时，性能可与 NoSQL 键值系统相媲美。
• 嵌入式查询处理器架构使系统能够随着客户端数量线性扩展查询处理能力，避免中心化瓶颈。
• 通过将分布式事务置于最低层，Yesquel 使 DBT 能够利用事务保证实现一致性，提升了正确性并简化了数据管理。
• 该系统不依赖专用硬件时钟，可在标准数据中心环境中部署，无需精确的时间同步。
• Yesquel 通过使用标准 SQL 作为接口，减少了供应商锁定，使应用程序能够以最小的修改在不同系统间迁移。
• 客户端查询处理与事务性键值存储基础的结合，实现了对 Web 应用典型的小型、频繁查询的低延迟高效执行。