[论文解读] Uniform Hypergraph Partitioning: Provable Tensor Methods and Sampling Techniques

Debarghya Ghoshdastidar, Ambedkar Dukkipati|arXiv (Cornell University)|Feb 21, 2016

Tensor decomposition and applications参考文献 74被引用 31

一句话总结

本文提出了一种可证明一致的基于张量的超图划分算法，适用于加权均匀超图，通过将张量采样与谱方法结合，解决了密集超图中计算效率低下的问题。在植入超图模型下，该方法建立了恢复精度的理论保证，表明即使在边权稀疏且非均匀的情况下，基于采样的方法也能以高概率实现近似最优性能。

ABSTRACT

In a series of recent works, we have generalised the consistency results in the stochastic block model literature to the case of uniform and non-uniform hypergraphs. The present paper continues the same line of study, where we focus on partitioning weighted uniform hypergraphs---a problem often encountered in computer vision. This work is motivated by two issues that arise when a hypergraph partitioning approach is used to tackle computer vision problems: (i) The uniform hypergraphs constructed for higher-order learning contain all edges, but most have negligible weights. Thus, the adjacency tensor is nearly sparse, and yet, not binary. (ii) A more serious concern is that standard partitioning algorithms need to compute all edge weights, which is computationally expensive for hypergraphs. This is usually resolved in practice by merging the clustering algorithm with a tensor sampling strategy---an approach that is yet to be analysed rigorously. We build on our earlier work on partitioning dense unweighted uniform hypergraphs (Ghoshdastidar and Dukkipati, ICML, 2015), and address the aforementioned issues by proposing provable and efficient partitioning algorithms. Our analysis justifies the empirical success of practical sampling techniques. We also complement our theoretical findings by elaborate empirical comparison of various hypergraph partitioning schemes.

研究动机与目标

• 解决标准超图划分算法在密集、近似稀疏的加权超图中需要完整计算边权而导致的计算效率低下问题。
• 对实践中广泛应用但缺乏形式化依据的基于采样的张量方法进行严格的理论分析，以支持超图聚类。
• 将先前针对无权超图的一致性结果扩展到加权均匀超图，在广义的植入模型下，确保对稀疏、非二值边权的鲁棒性。
• 在采样方案下，建立聚类误差的理论界，且该界以高概率成立，从而验证计算机视觉应用中经验实践的有效性。

提出的方法

• 提出一种基于张量迹最大化的谱聚类算法，将其重新表述为一种高阶关联问题的松弛形式，类似于图上的谱聚类。
• 引入一种采样策略，根据与边权成比例的非均匀概率分布，有放回地选择超边，从而降低计算成本。
• 使用归一化的邻接张量，并应用矩阵伯恩斯坦不等式，以在植入模型下界定采样拉普拉斯矩阵与真实拉普拉斯矩阵之间的偏差。
• 利用伯恩斯坦不等式推导出度矩阵和拉普拉斯矩阵的集中界，确保谱方法在采样下的稳定性。
• 通过在超图结构与采样过程之间建立联合概率测度，推导出谱聚类性能的高概率误差界。
• 分析谱间隙与特征值扰动，确保采样拉普拉斯矩阵的主特征向量能近似真实聚类结构。

实验结果

研究问题

• RQ1 在加权植入模型下，基于采样的张量方法能否实现一致的聚类？
• RQ2 采样策略如何影响真实超图拉普拉斯矩阵的谱逼近？
• RQ3 当仅观察到部分超边时，聚类误差的理论保证是什么？
• RQ4 采样误差界如何随超图规模、边权分布和最小度数变化？
• RQ5 理论结果在多大程度上能解释实际超图划分流程中采样的经验成功？

主要发现

• 所提出的基于采样的谱算法在高概率下实现聚类误差衰减为 $ O\left(\sqrt{\frac{\ln n}{N}} \left(1 + \frac{\beta (m-1)!}{\mathcal{D}_{\min}} \right)\right) $，其中 $ N $ 为采样超边的数量。
• 采样拉普拉斯矩阵与真实拉普拉斯矩阵之间的偏差以 $ O\left(\sqrt{\frac{\ln n}{N}} \left(1 + \frac{2\beta (m-1)!}{\mathcal{D}_{\min}} \right)\right) $ 为界，概率为 $ 1 - o(1) $。
• 该方法确保采样拉普拉斯矩阵的主特征向量以高概率接近真实聚类指示向量，从而实现一致聚类。
• 理论分析表明，即使边权稀疏且非均匀，采样也不会显著降低性能，从而为实际应用提供了理论支持。
• 该理论界在边权分布和超图结构上仅需最小假设，使方法对真实世界数据特征具有鲁棒性。
• 实验评估表明，基于采样的方法在运行时间上优于完整计算，同时保持了相近的聚类精度。