[论文解读] The Total Variation on Hypergraphs - Learning on Hypergraphs Revisited

Matthias Hein, Simon Setzer+2 more|arXiv (Cornell University)|Dec 18, 2013

Advanced Graph Neural Networks参考文献 28被引用 73

一句话总结

本论文提出了一种基于全变差函数的新型正则化框架，用于在超图上进行学习，该框架直接利用超图结构，避免了通过团展开或星型展开引入的近似失真。该方法通过求解可扩展的近端算法实现的凸优化问题，在半监督学习和聚类任务中取得了最先进性能，优于基于图的近似方法和张量方法在基准数据集上的表现。

ABSTRACT

Hypergraphs allow one to encode higher-order relationships in data and are thus a very flexible modeling tool. Current learning methods are either based on approximations of the hypergraphs via graphs or on tensor methods which are only applicable under special conditions. In this paper, we present a new learning framework on hypergraphs which fully uses the hypergraph structure. The key element is a family of regularization functionals based on the total variation on hypergraphs.

研究动机与目标

• 克服现有超图学习方法依赖图近似（如团展开或星型展开）或仅限于k-一致超图的局限性。
• 设计一种正则化框架，通过将全变差定义为超图切分的Lovász扩展，充分挖掘超图结构。
• 通过推导所提正则化泛函的近端算法，实现半监督学习和聚类的可扩展优化。
• 证明直接基于超图的学习相比基于图的近似方法和标准相似性构造图方法具有更优性能。

提出的方法

• 将超图上的全变差定义为超图切分泛函的Lovász扩展，实现对超图划分的凸松弛。
• 提出一族在全变差与拉普拉斯型正则化之间插值的正则化泛函，平衡稀疏性与平滑性。
• 推导出归一化超图切分的紧致凸松弛，实现聚类任务的高效优化。
• 开发一种新型近端算法以求解所得凸优化问题，并提供形式化的复杂度分析。
• 通过构建最小化所提正则化项并满足标签约束的凸优化问题，将该框架应用于半监督学习和聚类。
• 采用基于近端映射的可扩展求解器，高效处理大规模超图。

实验结果

研究问题

• RQ1 能否设计一种正则化框架，直接利用超图结构而不将其近似为图？
• RQ2 与基于图的全变差相比，超图上的全变差在保持高阶关系方面表现如何？
• RQ3 能否推导出归一化超图切分的紧致凸松弛并有效用于聚类？
• RQ4 在半监督学习中，直接超图学习相比图近似方法是否带来性能提升？
• RQ5 所提出的优化框架在大规模超图上的可扩展性如何？

主要发现

• 在Mushrooms数据集上，该方法的聚类误差显著低于基于团展开的谱聚类（10.98% vs. 32.25%），在20-Newsgroup数据集上也表现更优（47.77% vs. 33.20%），证明了其优越性能。
• 尽管未直接优化该目标，该方法在Mushrooms数据集上实现的归一化超图切分值更小（0.0011 vs. 0.0013），优于团展开方法。
• 在Covertype (4,5)数据集上，该方法聚类误差为22.44%，与基线持平，但超图的归一化切分值显著更小（0.0018 vs. 0.0022），表明结构保持更优。
• 在20-Newsgroup数据集上，该方法在200个标注点下测试误差为25.0±1.3%，与Zhou等人方法相当（25.0±1.3% vs. 25.0±1.3%），但超图切分值更具优势。
• 该方法优于标准k-NN图的谱聚类方法（如在20-Newsgroup上为34.7±3.6% vs. 66.38%），表明超图建模在类别型数据上比基于相似性的图构造更有效。
• 所提出的近端算法实现了可扩展优化，使该方法适用于大规模超图，实验结果验证了其在最多200个标注点的数据集上的适用性。