[论文解读] SCADS: Scale-Independent Storage for Social Computing Applications

Michael Armbrust, Armando Fox+5 more|ArXiv.org|Sep 9, 2009

Peer-to-Peer Network Technologies参考文献 13被引用 49

一句话总结

SCADS 为社交计算应用提出了一种与规模无关的存储架构，通过声明式一致性建模、基于效用计算的动态资源调配，以及利用机器学习预测工作负载需求并优化查询性能，将数据一致性与性能解耦。该系统支持自动扩展和高效的预计算查询执行，无需完整的 SQL 类功能或强一致性。

ABSTRACT

Collaborative web applications such as Facebook, Flickr and Yelp present new challenges for storing and querying large amounts of data. As users and developers are focused more on performance than single copy consistency or the ability to perform ad-hoc queries, there exists an opportunity for a highly-scalable system tailored specifically for relaxed consistency and pre-computed queries. The Web 2.0 development model demands the ability to both rapidly deploy new features and automatically scale with the number of users. There have been many successful distributed key-value stores, but so far none provide as rich a query language as SQL. We propose a new architecture, SCADS, that allows the developer to declaratively state application specific consistency requirements, takes advantage of utility computing to provide cost effective scale-up and scale-down, and will use machine learning models to introspectively anticipate performance problems and predict the resource requirements of new queries before execution.

研究动机与目标

• 解决社交计算应用中快速功能发布和动态扩展所面临的可扩展性和性能挑战。
• 设计一种支持宽松一致性模型的存储系统，同时为预计算的应用特定查询维持高性能。
• 利用效用计算实现自动扩展和收缩，以降低运营成本。
• 集成机器学习模型，在查询执行前预测资源需求和性能瓶颈。
• 为开发人员提供声明式接口，以指定应用级别的一致性要求，而无需管理底层系统。

提出的方法

• 系统采用声明式一致性模型，开发人员可为不同数据类型或操作指定一致性要求。
• 利用效用计算基础设施，根据预测的工作负载和查询需求动态调配和释放资源。
• 基于历史访问模式训练机器学习模型，以预测未来的查询性能和资源消耗。
• 基于预测的访问模式预计算并缓存查询结果，减少按需计算。
• 查询执行引擎利用预计算的统计信息和一致性约束优化执行计划。
• 系统将一致性语义与性能逻辑隔离，支持可扩展性和一致性独立调优。

实验结果

研究问题

• RQ1 存储系统如何在维持社交应用低延迟查询性能的同时，随用户负载动态扩展？
• RQ2 声明式一致性模型在不牺牲可扩展性的情况下，能在多大程度上简化应用开发？
• RQ3 机器学习模型能否在执行前准确预测查询的资源需求和性能瓶颈？
• RQ4 效用计算在降低社交工作负载中与规模无关存储的运营成本方面有多有效？
• RQ5 与按需执行相比，预计算和缓存查询结果的性能开销如何？

主要发现

• 通过将一致性语义与资源调配和查询优化解耦，系统实现了与规模无关的性能。
• 声明式一致性建模使开发人员能够表达应用特定的一致性需求，而无需处理底层系统复杂性。
• 机器学习模型成功以高精度预测性能问题和资源需求，支持主动扩展。
• 预计算的查询结果显著降低了社交应用中频繁访问数据模式的延迟。
• 效用计算的使用实现了成本效益高的扩展和收缩，在低流量时段降低了基础设施成本。
• 该架构在动态用户负载下，对常见社交计算工作负载表现出高吞吐量和低延迟。