[论文解读] Optimal Algorithms for Ranked Enumeration of Answers to Full Conjunctive Queries

Nikolaos Tziavelis, Deepak Ajwani+3 more|arXiv (Cornell University)|Nov 13, 2019

Optimization and Search Problems参考文献 101被引用 7

一句话总结

本文通过选择性双环（selective dioids）推广动态规划问题，提出全连接查询（full conjunctive queries, CQs）——包括循环查询在内——的最优排序枚举算法。该方法将 k 短路径算法扩展至全连接查询，实现数据复杂度下的最优首次结果响应时间与最小结果间延迟，优于批量处理方法，即使在生成全部结果时也表现更优，理论与实证验证覆盖多种查询类型。

ABSTRACT

We study ranked enumeration of join-query results according to very general orders defined by selective dioids. Our main contribution is a framework for ranked enumeration over a class of dynamic programming problems that generalizes seemingly different problems that had been studied in isolation. To this end, we extend classic algorithms that find the k-shortest paths in a weighted graph. For full conjunctive queries, including cyclic ones, our approach is optimal in terms of the time to return the top result and the delay between results. These optimality properties are derived for the widely used notion of data complexity, which treats query size as a constant. By performing a careful cost analysis, we are able to uncover a previously unknown tradeoff between two incomparable enumeration approaches: one has lower complexity when the number of returned results is small, the other when the number is very large. We theoretically and empirically demonstrate the superiority of our techniques over batch algorithms, which produce the full result and then sort it. Our technique is not only faster for returning the first few results, but on some inputs beats the batch algorithm even when all results are produced.

研究动机与目标

• 解决全连接查询（特别是循环查询）高效排序枚举的开放问题，要求结果按给定排序函数的顺序返回。
• 通过基于选择性双环与动态规划的统一理论框架，整合不同排序查询评估方法。
• 在数据复杂度下实现最优性——将查询大小视为常数——通过最小化首次结果响应时间与后续结果间延迟。
• 通过形式化刻画其渐近行为，解决两种枚举策略之间的权衡：一种针对小 k 优化，另一种针对大 k 优化。
• 证明其优于批量算法（即完整连接 + 排序），即使在需要全部结果的情况下也表现出性能优势。

提出的方法

• 该框架将经典 k 短路径算法推广至选择性双环下的全连接查询，其中选择性双环定义了排序语义。
• 引入基于树的查询计划因子分解，尊重字典序并最小化表示膨胀，采用线性时间重构过程。
• 通过优先队列的动态规划方法按排序顺序枚举结果，保持最优延迟与首次结果响应时间。
• 形式化刻画两种枚举策略之间的权衡：一种基于早期剪枝，一种基于高效中间结果传播，其复杂度取决于结果数量 k。
• 该方法支持无环与循环 CQs，通过分数边覆盖分析与 RAM 模型中的成本建模证明其最优性。
• 预处理阶段计算紧凑且字典序排列的因子化表示，以实现对数延迟的高效枚举。

实验结果

研究问题

• RQ1 我们能否设计一种全连接查询的排序枚举算法，在数据复杂度下实现最优首次结果响应时间与最小结果间延迟？
• RQ2 针对小 k 与大 k 优化的不同枚举策略在渐近性能上如何比较？能否形式化刻画其权衡？
• RQ3 能否将看似无关的排序查询评估方法（如 top-k 连接、子图模式排序）统一于单一理论框架之下？
• RQ4 是否可能不仅在 top-k 情况下，而且在完整结果枚举场景下，超越批量算法（完整连接 + 排序）的性能？
• RQ5 能否将现有最优连接算法扩展以支持具有相同最优性保证的排序枚举？

主要发现

• 所提算法在 4-环查询中以 O(n^{1.5}) 时间返回最高排名结果，与布尔版本的最佳已知界一致，尽管 top-k 问题看似更难。
• 对于全连接查询，该算法实现了最优首次结果响应时间（TTF）与最优结果间延迟（TTL），且 TTF 与布尔查询的最佳已知界一致。
• 即使在必须返回全部结果的情况下，该方法仍优于批量算法，表明增量枚举在某些输入下快于完整物化与排序。
• 发现了一种此前未知的权衡：一种方法在小 k 时最优，另一种在大 k 时最优，最优选择取决于预期结果数量。
• 该框架支持无环与循环查询，包括分数边覆盖数 ρ* = 2 的查询（如 4-环），并在所有情况下保持最优性。
• 因子化表示的预处理步骤耗时 O(n)，枚举过程以对数延迟进行，支持结果的高效流式输出。