[论文解读] Tuneful: An Online Significance-Aware Configuration Tuner for Big Data Analytics

Ayat Fekry, Lucian Carata+3 more|arXiv (Cornell University)|Jan 22, 2020

Cloud Computing and Resource Management被引用 11

一句话总结

Tuneful 是一种用于大规模数据系统的在线、显著性感知配置调优工具，结合了增量敏感性分析与贝叶斯优化，以极低的运行时开销识别接近最优的 Spark 配置。与最先进方法相比，它将中位数搜索时间减少了 62%，实现了对动态工作负载的快速、低成本调优。

ABSTRACT

Distributed analytics engines such as Spark are a common choice for processing extremely large datasets. However, finding good configurations for these systems remains challenging, with each workload potentially requiring a different setup to run optimally. Using suboptimal configurations incurs significant extra runtime costs. %Furthermore, Spark and similar platforms are gaining traction within data-scientists communities where awareness of such issues is relatively low. We propose Tuneful, an approach that efficiently tunes the configuration of in-memory cluster computing systems. Tuneful combines incremental Sensitivity Analysis and Bayesian optimization to identify near-optimal configurations from a high-dimensional search space, using a small number of executions. This setup allows the tuning to be done online, without any previous training. Our experimental results show that Tuneful reduces the search time for finding close-to-optimal configurations by 62\\% (at the median) when compared to existing state-of-the-art techniques. This means that the amortization of the tuning cost happens significantly faster, enabling practical tuning for new classes of workloads.

研究动机与目标

• 解决在高维 Spark 配置空间中寻找工作负载特定最优配置的挑战。
• 降低在类似 Spark 的分布式内存系统中配置调优所需的成本与时间。
• 在不依赖预训练模型或大量离线训练的前提下，实现对动态工作负载的实际、在线重新调优。
• 相比现有的增量搜索或基于模型的方法，实现更快的近似最优配置收敛速度。
• 最小化识别高性能配置所需执行昂贵工作负载的次数。

提出的方法

• 通过少量执行，应用增量敏感性分析，从高维空间中动态识别最具影响力的配置参数。
• 采用带有高斯过程的贝叶斯优化，高效探索并仅优化显著参数。
• 利用实际工作负载执行来指导配置选择，确保无需模型的在线调优，且无需预先训练。
• 维护一个概率采集函数，以平衡探索与利用，从而最小化运行时成本。
• 通过在周期性工作负载执行期间实时监控与调优配置，无缝集成至 Spark。
• 在每次执行后利用工作负载反馈，迭代地精炼搜索空间并提升调优精度。

实验结果

研究问题

• RQ1 在仅需少量执行的情况下，敏感性分析能否有效识别高维、动态 Spark 配置空间中最具影响力的配置参数？
• RQ2 将增量敏感性分析与贝叶斯优化相结合，与现有调优技术相比，能否显著提升收敛速度？
• RQ3 在线、无模型的配置调优在多大程度上能降低大规模数据系统中优化的分摊成本？
• RQ4 Tuneful 是否能在显著减少执行样本数量的前提下，实现与最先进方法相当或更优的配置？
• RQ5 当数据量变化或环境发生改变时，Tuneful 在支持频繁重新调优演化工作负载方面有多高效？

主要发现

• 与最先进技术相比，Tuneful 将寻找近似最优配置的中位数搜索时间减少了 62%。
• 在最佳情况下，与现有方法相比，Tuneful 将搜索时间减少了 97%，显著加速了成本分摊。
• 尽管执行次数远少于其他方法，Tuneful 实现的配置在运行时性能与最先进方法相当。
• 系统仅通过少量初始执行，便能高精度识别出工作负载特定的显著参数，从而实现高效的搜索空间缩减。
• Tuneful 实现了对演化工作负载的实际在线重新调优，使得在数据量或环境变化时重新优化配置成为可能。
• 敏感性分析与贝叶斯优化的结合，使得在高维配置空间中实现数据高效调优成为可能，这是对先前基于模型或穷举搜索方法的重要进步。