[论文解读] Size Bounds for Conjunctive Queries with General Functional Dependencies

Gregory Valiant, Paul Valiant|ArXiv.org|Sep 10, 2009

Data Management and Algorithms参考文献 23被引用 4

一句话总结

本文提出了一种信息论框架，用于推导在一般函数依赖下的连接查询的紧致最坏情况大小界，扩展了先前基于着色的方法。通过使用线性规划建模变量的熵，该研究建立了结果大小增长的上下界，揭示了与非香农信息不等式相关的基本差距，并提供了一种多项式时间决策过程，用于检测结果大小是否超过输入大小。

ABSTRACT

This paper extends the work of Gottlob, Lee, and Valiant (PODS 2009)[GLV], and considers worst-case bounds for the size of the result Q(D) of a conjunctive query Q to a database D given an arbitrary set of functional dependencies. The bounds in [GLV] are based on a "coloring" of the query variables. In order to extend the previous bounds to the setting of arbitrary functional dependencies, we leverage tools from information theory to formalize the original intuition that each color used represents some possible entropy of that variable, and bound the maximum possible size increase via a linear program that seeks to maximize how much more entropy is in the result of the query than the input. This new view allows us to precisely characterize the entropy structure of worst-case instances for conjunctive queries with simple functional dependencies (keys), providing new insights into the results of [GLV]. We extend these results to the case of general functional dependencies, providing upper and lower bounds on the worst-case size increase. We identify the fundamental connection between the gap in these bounds and a central open question in information theory. Finally, we show that, while both the upper and lower bounds are given by exponentially large linear programs, one can distinguish in polynomial time whether the result of a query with an arbitrary set of functional dependencies can be any larger than the input database.

研究动机与目标

• 为在一般函数依赖下连接查询的最坏情况大小界这一开放问题提供解决方案，扩展先前仅限于简单（单属性）函数依赖的工作。
• 形式化变量着色代表熵的直觉，利用信息理论建模变量依赖关系以及查询结果的大小增长。
• 提供比着色数方法更紧致的最坏情况结果大小上下界，尤其在存在复合函数依赖时表现更优。
• 揭示这些上下界之间的差距与信息论中关于非香农型不等式这一核心开放问题之间的联系。
• 开发一种多项式时间算法，以确定在任意函数依赖下，查询结果是否可能大于输入数据库。

提出的方法

• 将查询变量形式化为具有关联熵的随机变量，利用信息理论工具建模函数依赖所引发的依赖关系。
• 构建一个线性规划，以在函数依赖导出的约束下，最大化查询结果相对于输入的熵增加量。
• 定义一种基于最大可能熵增益的新界，该界推广了先前的着色数方法，并能处理复杂的函数依赖。
• 使用基于SAT的公式化方法，检查在尊重函数依赖的前提下为变量分配颜色的着色方案的可行性。
• 应用迭代简化过程，高效判断SAT公式的可满足性，从而实现多项式时间决策，判断结果大小是否可能超过输入大小。
• 利用多元熵和互信息的结构，刻画最坏情况实例并推导出界。

实验结果

研究问题

• RQ1 着色数方法能否扩展至在一般函数依赖下为连接查询的最坏情况结果大小提供上界？
• RQ2 在存在复合函数依赖的情况下，着色数与真实最坏情况大小增长之间的根本差距是什么？
• RQ3 如何利用信息理论工具（如熵和互信息）推导出更紧致、更精确的连接查询大小界？
• RQ4 是否存在一种多项式时间算法，用于判断具有任意函数依赖的连接查询是否可能产生大于输入数据库的结果？
• RQ5 上下界之间的差距与非香农型信息不等式存在性之间有何关联？

主要发现

• 当存在一般函数依赖时，着色数不再能提供最坏情况结果大小的上界，这一点通过一族实例得到证明，其展示了超常数差距。
• 本文通过最大化熵增益的线性规划，建立了最坏情况大小增长的上下界，利用信息理论形式化了着色的直觉。
• 上下界之间的差距本质上与非香农型信息不等式的存在性相关，这是信息论中的一个核心开放问题。
• 尽管底层线性规划的规模呈指数级，本文仍提供了一种多项式时间算法，用于判断查询结果是否可能大于输入数据库。
• 基于SAT的着色可行性检查公式可通过迭代简化高效求解，从而实现多项式时间决策大小是否增加。
• 研究结果提示了一种基于互信息和的新度量——编织复杂度（knitted complexity），可能捕捉现实数据库中的结构性复杂性。