[论文解读] On The Effect of Hyperedge Weights On Hypergraph Learning

Sheng Huang, Ahmed Elgammal+1 more|arXiv (Cornell University)|Oct 24, 2014

Advanced Clustering Algorithms Research参考文献 20被引用 5

一句话总结

本文研究了超边权重在超图学习中的关键作用，提出了三种新颖的加权方案——VOLUME（几何体积）、TRACE（多变量散布迹）和LLRE（基于线性回归的误差），显著提升了分类与聚类性能。在ORL、COIL20、JAFFE、Sheffield、Scene15和Caltech256数据集上的大量实验表明，将这些权重与标准超图模型结合，优于当前最先进方法，尤其在分类任务中表现突出。

ABSTRACT

Hypergraph is a powerful representation in several computer vision, machine learning and pattern recognition problems. In the last decade, many researchers have been keen to develop different hypergraph models. In contrast, no much attention has been paid to the design of hyperedge weights. However, many studies on pairwise graphs show that the choice of edge weight can significantly influence the performances of such graph algorithms. We argue that this also applies to hypegraphs. In this paper, we empirically discuss the influence of hyperedge weight on hypegraph learning via proposing three novel hyperedge weights from the perspectives of geometry, multivariate statistical analysis and linear regression. Extensive experiments on ORL, COIL20, JAFFE, Sheffield, Scene15 and Caltech256 databases verify our hypothesis. Similar to graph learning, several representative hyperedge weighting schemes can be concluded by our experimental studies. Moreover, the experiments also demonstrate that the combinations of such weighting schemes and conventional hypergraph models can get very promising classification and clustering performances in comparison with some recent state-of-the-art algorithms.

研究动机与目标

• 探究超边权重对超图学习性能的影响，因为尽管其在成对图中已知重要，但该方面在超图学习中长期被忽视。
• 提出基于几何、多元统计和线性回归原理的新型超边加权方案，为启发式或临时设计的权重提供有原则的替代方案。
• 在多个基准数据集上，对标准超图模型在聚类和分类任务中采用不同超边权重进行实证评估。
• 证明精心选择的超边权重可显著提升性能，使超图学习更具竞争力，媲美当前最先进方法。
• 识别出适用于分类与聚类的代表性高性能权重方案，为未来超图模型设计提供实用指导。

提出的方法

• 提出VOLUME作为基于超边中顶点构成单形体积的几何超边权重，采用基于行列式的方法计算。
• 提出TRACE作为基于超边中顶点组内聚类散布矩阵迹的统计超边权重，反映数据方差与聚类紧凑性。
• 提出LLRE（局部线性重构误差）作为基于回归的权重，通过线性模型衡量超边中顶点的重构误差。
• 将这三种新颖权重与三种常用权重（如成对边之和、质心法、自适应法）结合，在三种超图框架中进行测试：Zhou的归一化拉普拉斯矩阵、团展开法和星型展开法。
• 在六个基准数据集（ORL、COIL20、JAFFE、Sheffield、Scene15、Caltech256）上采用标准归纳学习协议，分别进行聚类与分类任务。
• 使用分类准确率和聚类准确率（如NMI、ACC）作为评估指标，与当前最先进算法进行性能比较。

实验结果

研究问题

• RQ1 超边权重的选择如何影响超图学习模型在分类与聚类任务中的性能？
• RQ2 基于几何、统计与回归原理的超边权重是否能超越启发式或基于成对边的权重，在超图学习中实现性能提升？
• RQ3 是否存在在多种数据集和学习任务中始终表现更优的特定超边加权方案？
• RQ4 将传统超图模型与精心设计的超边权重结合，能在多大程度上实现与当前最先进算法相当的性能？
• RQ5 超边权重的影响在分类任务中是否比在聚类任务中更显著？如果是，原因是什么？

主要发现

• VOLUME与TRACE超边权重在分类任务中显著优于其他方案，分别在ORL、COIL20和Scene15数据集上使聚类准确率提升2.75%、12.69%和10.60%。
• 在聚类任务中，所有五种测试的加权方案（包括VOLUME、TRACE与CENTROID）均显著优于无权重超图基线，其中TRACE与CENTROID表现略优。
• 超图模型在分类任务中对超边权重更为敏感，表明权重设计对判别性任务尤为重要。
• Zhou的归一化超图模型结合VOLUME与TRACE权重，在Scene15与Caltech256数据集的分类任务中达到最先进性能，优于近期先进算法。
• 采用TRACE权重的团展开模型与采用CENTROID权重的Zhou归一化超图模型在聚类任务中也取得高度竞争力的结果，证明了这些权重方案的鲁棒性。
• 本研究证实，超边权重设计并非微不足道的实现细节，而是能显著提升超图学习性能的关键因素，尤其当与标准超图框架结合时效果更为显著。