[论文解读] Towards a Hands-Free Query Optimizer through Deep Learning

Ryan Marcus, Olga Papaemmanouil|arXiv (Cornell University)|Sep 26, 2018

Optimization and Search Problems参考文献 29被引用 43

一句话总结

该论文倡导深度强化学习方法用于端到端查询优化，提出学习来自示范（learning-from-demonstration）和成本模型引导启动（cost-model bootstrapping）以克服训练和搜索空间挑战，并讨论增量学习策略。

ABSTRACT

Query optimization remains one of the most important and well-studied problems in database systems. However, traditional query optimizers are complex heuristically-driven systems, requiring large amounts of time to tune for a particular database and requiring even more time to develop and maintain in the first place. In this vision paper, we argue that a new type of query optimizer, based on deep reinforcement learning, can drastically improve on the state-of-the-art. We identify potential complications for future research that integrates deep learning with query optimization, and we describe three novel deep learning based approaches that can lead the way to end-to-end learning-based query optimizers.

研究动机与目标

• 推动从手工调优启发式方法转向基于DRL的查询优化，能够自动为数据库调优。
• 识别将DRL应用于执行计划的大规模搜索空间时的挑战。
• 提出具体的DRL方法来引导学习并利用示范和成本模型。
• 概述逐步构建端到端优化能力的增量学习策略。

提出的方法

• 描述用于学习查询优化策略的DRL基础及策略梯度方法。
• 以ReJOIN（基于DRL的连接顺序枚举器）为案例研究。
• 概述端到端优化的三个关键DRL挑战：搜索空间规模、奖励信号和评估开销。
• 提出两种DRL方法：学习来自示范和成本模型引导启动。
• 讨论将优化分解为更简单阶段的增量学习设计。

实验结果

研究问题

• RQ1 基于DRL的优化器是否能在没有手工设计的启发式方法的情况下学习到有效的查询计划？
• RQ2 学习来自示范如何加速查询优化中的DRL？
• RQ3 成本模型引导启动是否能提供实际的奖励信号，从而加速收敛？
• RQ4 哪些增量策略可以使端到端DRL优化器在完整执行计划上具备可扩展性？

主要发现

• ReJOIN 表明在大量训练后，DRL 可以学习出接近或超越 PostgreSQL 在延迟方面的连接顺序策略。
• 尽管存在训练开销，ReJOIN 产出的最终执行计划在许多情况下仍能比 PostgreSQL 的枚举器更快。
• 将成本模型作为奖励可以实现更快的训练，但可能依赖于成本模型的质量。
• 学习来自示范可以通过利用专家优化器显著降低训练时间。
• 增量学习策略可以将优化任务分解以管理复杂性。