[论文解读] Worst-Case Optimal Join Algorithms: Techniques, Results, and Open Problems

Hung Q. Ngo|arXiv (Cornell University)|Mar 27, 2018

Data Management and Algorithms参考文献 50被引用 12

一句话总结

本文全面概述了最坏情况最优连接（WCOJ）算法，该类算法以与查询最坏情况输出大小成比例的时间评估多路连接。论文将信息论、组合数学与数据库查询优化相联系，展示了如何将输出大小界限的证明直接转化为高效算法，关键成果包括利用多matroid和熵不等式获得紧致界限。

ABSTRACT

Worst-case optimal join algorithms are the class of join algorithms whose runtime match the worst-case output size of a given join query. While the first provably worst-case optimal join algorithm was discovered relatively recently, the techniques and results surrounding these algorithms grow out of decades of research from a wide range of areas, intimately connecting graph theory, algorithms, information theory, constraint satisfaction, database theory, and geometric inequalities. These ideas are not just paperware: in addition to academic project implementations, two variations of such algorithms are the work-horse join algorithms of commercial database and data analytics engines. This paper aims to be a brief introduction to the design and analysis of worst-case optimal join algorithms. We discuss the key techniques for proving runtime and output size bounds. We particularly focus on the fascinating connection between join algorithms and information theoretic inequalities, and the idea of how one can turn a proof into an algorithm. Finally, we conclude with a representative list of fundamental open problems in this area.

研究动机与目标

• 解决设计连接算法的挑战，使其运行时间与查询的最坏情况输出大小相匹配，特别是在度约束下。
• 弥合信息论、极值组合学与约束满足问题的理论洞见与数据库查询优化之间的鸿沟。
• 展示如何系统地将输出大小界限的数学证明转化为可执行算法。
• 识别并形式化WCOJ算法中的基本开放问题，包括复杂度、实用性，以及向平均情况和实例最优设置的扩展。

提出的方法

• 使用信息论不等式，特别是熵和多matroid函数，推导最坏情况输出大小的紧致上界。
• 将这些不等式的证明序列转化为具体的算法骨架，例如在PANDA算法中，每一步对应一个数据处理阶段。
• 应用变量消除和树分解的概念，构建最小化中间结果增长的查询执行计划。
• 利用度约束（包括函数依赖和基数界）来细化输出大小界限并指导算法设计。
• 将多matroid界形式化为线性规划，以在给定约束下计算最紧致的最坏情况大小估计。
• 引入约束修改的概念以简化界限并提高算法效率，如命题5.2中所形式化。

实验结果

研究问题

• RQ1 熵界（已知为紧致）在一般情况下是否可计算，还是其不可判定？
• RQ2 计算多matroid界的时间复杂度是多少？是否可对广泛类别的查询和约束高效计算？
• RQ3 能否使多matroid界对更大类别的查询和度约束保持紧致，从而在不引入大polylog因子的情况下实现WCOJ算法？
• RQ4 能否设计出更快的WCOJ算法，使其达到多matroid界而无需PANDA中存在polylogarithmic开销？
• RQ5 如何为实际查询优化形式化并计算实例最优性和平均情况输出大小界限？

主要发现

• 在度约束下，合取查询的最坏情况输出大小被多matroid界紧致地界定，该界可通过线性规划计算。
• 熵界（在许多情况下等价于多matroid界）是紧致的，但一般情况下可能不可判定，构成一个根本性的开放问题。
• PANDA算法通过将熵不等式证明序列转化为数据处理步骤，实现了最坏情况最优性能，其误差在polylog因子范围内。
• WCOJ算法的运行时间被界定为Õ(|D| + sup_D⊨DC |Q(D)|)，与最坏情况输出大小一致，该界通过信息论证明技术推导得出。
• 存在某些查询和约束类（例如具有特定树分解或度模式的查询），其多matroid界可在相对于查询复杂度的多项式时间内计算。
• 证明结构与算法之间的联系使得一种系统化方法成为可能：一个大小界限的证明可被编译为可工作的算法，如表2中的逐步映射所例示。