[论文解读] Skyline Computation with Noisy Comparisons

Benoît Groz, Frederik Mallmann-Trenn+2 more|arXiv (Cornell University)|Oct 5, 2017

Data Management and Algorithms参考文献 25被引用 3

一句话总结

本论文提出了两种新颖的输出敏感算法，用于在噪声比较环境下进行天际线计算，分别实现了 $O(nd\log(dk/\delta))$ 和 $O(ndk\log(k/\delta))$ 的查询复杂度。主要贡献在于填补了低维设置下已知下界与上界之间的差距，解决了关于在常数 $d$ 情况下是否能以 $o(nk)$ 查询完成天际线计算的开放问题，并在该领域首次建立了紧致的复杂度界限。

ABSTRACT

Given a set of $n$ points in a $d$-dimensional space, we seek to compute the skyline, i.e., those points that are not strictly dominated by any other point, using few comparisons between elements. We adopt the noisy comparison model [FRPU94] where comparisons fail with constant probability and confidence can be increased through independent repetitions of a comparison. In this model motivated by Crowdsourcing applications, Groz & Milo [GM15] show three bounds on the query complexity for the skyline problem. We improve significantly on that state of the art and provide two output-sensitive algorithms computing the skyline with respective query complexity $O(nd\\log (dk/\\delta))$ and $O(ndk\\log (k/\\delta))$ where $k$ is the size of the skyline and $\\delta$ the expected probability that our algorithm fails to return the correct answer. These results are tight for low dimensions.

研究动机与目标

• 为解决在众包数据收集等场景中，点之间比较存在噪声时高效计算天际线的挑战。
• 减少在高概率下计算天际线所需的比较查询次数，尤其当天际线大小 $k$ 相对于 $n$ 较小时。
• 填补噪声比较模型中已知下界与先前上界之间的差距，特别是在低维数据情形下。
• 为天际线计算建立紧致的查询复杂度界限，证明当 $d \leq k^c$ 时，$O(nd\log(dk/\delta))$ 是最优的。
• 开发一种评估噪声布尔变量析取式的新型子程序，该子程序在主算法中起到关键作用。

提出的方法

• 第一种算法 SkyLowDim 采用随机采样，根据坐标分位数将点分配到桶中，从而在高概率下保持天际线完整性的同时减小输入规模。
• 采用递归分桶策略，并使用超指数增长的天际线大小估计值 $\hat{k}$，以避免昂贵的重试操作，确保整体查询复杂度有界。
• 第二种算法 SkyHighDim 采用基于迭代消除被支配点的不同方法，利用噪声比较来维持对支配关系的信心。
• 核心子程序 NoisyFirstTrue 用于识别噪声布尔析取式中第一个为真的变量，该子程序被高效用于跨维度测试支配关系。
• 算法设计具有信任保持性，即当误差概率已低于 $1/3$ 时，可消除对 $\delta$ 的依赖，从而提升实际效率。
• 理论分析结合了概率集中不等式与递归成本分解，以界定总查询次数和运行时间。

实验结果

研究问题

• RQ1 尽管存在噪声比较，是否仍能在常数维度 $d$ 下以 $o(nk)$ 查询完成天际线计算？
• RQ2 在噪声比较模型中，天际线计算的最优查询复杂度是多少，特别是当天际线大小 $k$ 较小时？
• RQ3 即使在噪声比较下，是否仍能实现依赖于 $k$ 而非 $n$ 的输出敏感复杂度？
• RQ4 当误差概率已远离 $1/2$ 时，是否可使查询复杂度与 $\delta$ 无关？
• RQ5 在噪声模型中，以有界误差计算天际线所需的查询数的信息论下界是什么？

主要发现

• 论文在 $d \leq k^c$（$c$ 为常数）时，为噪声比较模型中的天际线计算建立了紧致的查询复杂度下界 $\Omega(nd\log k)$，并证明该复杂度为最优。
• 所提出的算法 SkyLowDim 实现了 $O(nd\log(dk/\delta))$ 的查询复杂度，该复杂度在低维设置下为最优，并相比先前最优结果提升了 $k$ 倍。
• 算法 SkyHighDim 实现了 $O(ndk\log(k/\delta))$ 的查询复杂度，进一步改进了先前界限，并提供了第二种输出敏感方法。
• 论文通过证明在常数 $d$ 下天际线计算可在 $o(nk)$ 查询内完成，解决了 [18] 中的开放问题，确认 $O(ndk\log(k/\delta))$ 不仅可实现且为最优。
• 作者表明 SkyLowDim 可适配至无噪声设置，实现 $O(nd\log(dk))$ 的查询复杂度，该复杂度在该模型下为最优。