[论文解读] The Shapley Value of Inconsistency Measures for Functional Dependencies

Ester Livshits, Benny Kimelfeld|arXiv (Cornell University)|Sep 29, 2020

Logic, Reasoning, and Knowledge被引用 4

一句话总结

本文研究了不一致数据库中函数依赖（FD）违规的Shapley值计算的计算复杂性，提出将不一致度量系统地分类为可 tractable 和不可 tractable 的情况。研究结果表明，违规数量和问题事实数可在多项式时间内计算，而剧烈度量和最小基数修复度量则根据FD中是否存在左部链（lhs chain）表现出二分性特征，对不可 tractable 的情况提供了近似结果。

ABSTRACT

Quantifying the inconsistency of a database is motivated by various goals including reliability estimation for new datasets and progress indication in data cleaning. Another goal is to attribute to individual tuples a level of responsibility to the overall inconsistency, and thereby prioritize tuples in the explanation or inspection of dirt. Therefore, inconsistency quantification and attribution have been a subject of much research in Knowledge Representation and, more recently, in Databases. As in many other fields, a conventional responsibility sharing mechanism is the Shapley value from cooperative game theory. In this paper, we carry out a systematic investigation of the complexity of the Shapley value in common inconsistency measures for functional-dependency (FD) violations. For several measures we establish a full classification of the FD sets into tractable and intractable classes with respect to Shapley-value computation. We also study the complexity of approximation in intractable cases.

研究动机与目标

• 系统分析数据库中函数依赖的不一致度量的Shapley值计算的计算复杂性。
• 基于左部链等结构特性，识别FD集合的可 tractable 和不可 tractable 类别。
• 研究不可 tractable 不一致度量的Shapley值的可近似性，包括FPRAS和常数比近似。
• 通过合作博弈论扩展对不一致数据库中责任归属的理解。

提出的方法

• 将数据库的不一致性建模为合作博弈，其中元组为参与者，不一致度量定义联盟的价值。
• 应用Shapley值公式，量化每个元组在所有可能联盟中对整体不一致性的边际贡献。
• 通过在均匀随机子集上的组合分析和期望计算，推导出Shapley值的闭式表达式。
• 在可 tractable 情况下，采用动态规划和递归分解实现高效计算，尤其适用于违规数量和问题事实数。
• 为不可 tractable 度量（如剧烈度量和最小基数修复度量）推导界限和近似方案（例如FPRAS）。
• 利用FD集合的结构特性——特别是左部链的存在性（至等价性）——对复杂性进行分类。

Figure 2 . The databases constructed in the reduction of the proof of Lemma 5 .

实验结果

研究问题

• RQ1 哪些函数依赖的不一致度量允许Shapley值的多项式时间计算？
• RQ2 FD集合的何种结构特性（如左部链）决定了Shapley值计算的可 tractable 性？
• RQ3 对于不可 tractable 的不一致度量，是否存在完全多项式随机近似方案（FPRAS）？
• RQ4 是否可以在所有FD集合中对最小基数修复成本的Shapley值实现常数比近似？
• RQ5 这些结果如何推广到其他责任度量（如Banzhaff权力指数）或不同类型约束？

主要发现

• 违规数量（$\mathcal{I}_{\mathsf{MI}}$）和问题事实数量（$\mathcal{I}_{\mathsf{P}}$）的Shapley值可在多项式时间内计算。
• 对于剧烈度量（$\mathcal{I}_{\mathsf{d}}$）的Shapley值，当且仅当FD集合具有左部链（至等价性）时为可 tractable；否则为#P难。
• 对于最小基数修复度量（$\mathcal{I}_{\mathsf{MC}}$）的Shapley值，当且仅当FD集合具有左部链时为可 tractable，否则为#P难。
• 剧烈度量（$\mathcal{I}_{\mathsf{d}}$）的Shapley值存在FPRAS，但最小基数修复成本（$\mathcal{I}_{\mathsf{R}}$）的常数比近似是否存在仍为某些FD集合的开放问题。
• $\mathcal{I}_{\mathsf{R}}$ 的可 tractable 情况尚未完全表征，特别是对于无左部链但仍可多项式时间计算修复的FD集合。
• 本文识别出$\mathcal{I}_{\mathsf{R}}$ 复杂性分类中的一个缺口，尤其针对二分图匹配约束$\{A\rightarrow B, B\rightarrow A\}$，该情况存在FPRAS但尚未完全分类。

Figure 4 . The data structure $T$ of our running example.