[论文解读] Perfect and Maximum Randomness in Stratified Sampling over Joins

Niranjan Kamat, Arnab Nandi|arXiv (Cornell University)|Jan 19, 2016

Data Stream Mining Techniques参考文献 29被引用 4

一句话总结

本文提出了一种统一的相关性驱动采样方法，用于表连接操作，提出技术以最大化相关采样中的随机性，并优化非相关采样以减少样本膨胀。通过使用比例分配策略，该方法实现了最小化相关性和执行开销的最优采样策略，在显著减少中间数据大小和执行时间的同时，实现了接近均匀的随机性。

ABSTRACT

Supporting sampling in the presence of joins is an important problem in data analysis, but is inherently challenging due to the need to avoid correlation between output tuples. Current solutions provide either correlated or non-correlated samples. Sampling might not always be feasible in the non-correlated sampling-based approaches -- the sample size or intermediate data size might be exceedingly large. On the other hand, a correlated sample may not be representative of the join. This paper presents a \emph{unified} strategy towards join sampling, while considering sample correlation every step of the way. We provide two key contributions. First, in the case where a \emph{correlated} sample is \emph{acceptable}, we provide techniques, for all join types, to sample base relations so that their join is \emph{as random as possible}. Second, in the case where a correlated sample is \emph{not acceptable}, we provide enhancements to the state-of-the-art algorithms to reduce their execution time and intermediate data size.

研究动机与目标

• 解决连接采样中的样本相关性问题，该问题会导致结果偏差和高误差率。
• 通过优化采样策略，减少非相关采样导致的样本膨胀——即样本规模变得难以管理。
• 提供一个统一框架，支持相关与非相关采样，同时提升效率和随机性。
• 通过最小化中间数据大小和执行时间，增强最先进的非相关采样算法。
• 最大化可能的连接采样数量，从而在相关采样场景下近似实现非相关随机性。

提出的方法

• 提出一种相关性感知的采样策略，将连接随机性建模为可能的输出采样数量，旨在最大化该数量。
• 通过在关系间使用比例分配，使每个连接组中采样元组与总元组的比例保持平衡，从而最小化相关性。
• 应用拉格朗日乘数法，推导在采样约束下最大化可能采样数量的对数的最优采样分配。
• 针对等值连接和θ-连接（如≤比较）推导出采样分配的闭式解，使用组合表达式计算采样数量。
• 引入基于二分查找的方法，求解全局缩放因子A，以在各层之间平衡采样分布，确保最优分配。
• 通过优化采样计划和连接顺序，减少中间数据大小和执行时间，从而增强现有非相关采样算法。

实验结果

研究问题

• RQ1 如何在不依赖非相关采样的前提下，最大化等值连接和θ-连接中相关采样的随机性？
• RQ2 何种采样分配策略可在保持可行样本规模的同时最小化连接操作中的相关性？
• RQ3 如何减少非相关采样中连接操作的样本膨胀，即当样本规模超过关系大小时？
• RQ4 在连接组之间使用比例分配是否能实现接近均匀的随机性并提升采样效率？
• RQ5 如何在多个关系之间最优分配样本，以最大化可能的连接结果数量？

主要发现

• 所提出的方法通过最大化可能的连接结果数量，在相关采样中实现了接近最大随机性，与标准相关采样技术相比显著降低了采样误差。
• 对于等值连接，最优采样分配与每个连接组的大小成正比，确保所有连接组件的采样保持平衡。
• 该方法在非相关采样中将中间数据大小和执行时间减少了数个数量级，尤其在高选择性连接中表现显著。
• 使用二分查找求解全局缩放因子A，可高效计算所有层的最优采样分配。
• 理论分析表明，通过组合优化最大化随机性可显著降低相关性，其性能接近非相关采样。
• 对于具有≤比较的θ-连接，该方法基于层位置推导出修正的分配规则，分配公式中的指数取决于层索引j。