[论文解读] Quadratic Decomposable Submodular Function Minimization

Pan Li, Niao He+1 more|arXiv (Cornell University)|Jun 26, 2018

Complexity and Algorithms in Graphs被引用 3

一句话总结

本文提出了一种用于二次可分解子模函数最小化（QDSFM）的新颖双对偶优化框架，这是图与超图学习中的关键问题。该方法提出了一种具有线性收敛速度的随机坐标下降（RCD）算法，其基于新型圆锥投影技术与弱强凸性分析，相较于现有最先进方法，在超图半监督学习中实现了更快的收敛速度与更高的精度。

ABSTRACT

We introduce a new convex optimization problem, termed quadratic decomposable submodular function minimization. The problem is closely related to decomposable submodular function minimization and arises in many learning on graphs and hypergraphs settings, such as graph-based semi-supervised learning and PageRank. We approach the problem via a new dual strategy and describe an objective that may be optimized via random coordinate descent (RCD) methods and projections onto cones. We also establish the linear convergence rate of the RCD algorithm and develop efficient projection algorithms with provable performance guarantees. Numerical experiments in semi-supervised learning on hypergraphs confirm the efficiency of the proposed algorithm and demonstrate the significant improvements in prediction accuracy with respect to state-of-the-art methods.

研究动机与目标

• 为解决二次可分解子模函数最小化（QDSFM）缺乏高效且线性收敛求解器的问题，该问题在图与超图学习中至关重要。
• 提出一种新的QDSFM对偶公式，涉及对乘积锥的投影，区别于标准DSFM中的多面体结构。
• 建立对偶QDSFM问题的弱强凸性，以保证RCD与交替投影方法的线性收敛性。
• 设计高效的圆锥投影算法，利用广义Frank-Wolfe与最小范数点方法，并具备可证明的收敛性保证。
• 在超图半监督学习任务上对所提算法进行实证验证，展示其在收敛速度与预测精度方面的优越性能。

提出的方法

• 推导出一种新的QDSFM对偶公式，要求通过乘积锥找到超平面的最佳逼近，取代标准DSFM中的多面体结构。
• 为对偶QDSFM问题提出一种随机坐标下降（RCD）算法，并基于弱强凸性进行收敛速率分析。
• 引入广义Frank-Wolfe与最小范数点方法，以在每次RCD迭代中高效计算圆锥投影，内层循环具有1/k的收敛速率。
• 通过证明对偶目标函数的弱强凸性，结合底层的圆锥几何结构，建立RCD算法的线性收敛性。
• 采用具备可证明性能保证的投影算法，包括对迭代复杂度与收敛速率的界。
• 在真实与合成的超图数据集上实现并评估该方法，使用半监督学习基准进行测试。

实验结果

研究问题

• RQ1 能否为QDSFM推导出一种新对偶公式，以捕捉问题的圆锥结构，从而实现高效优化？
• RQ2 所提出的RCD算法是否对QDSFM实现线性收敛？其收敛速率的保证条件是什么？
• RQ3 能否设计出高效的圆锥投影算法，以支持RCD算法并具备可证明的收敛性与较低的计算成本？
• RQ4 在超图半监督学习任务中，该方法相较于现有求解器（如PDHG、SGD、DRCD）在收敛速度与预测精度方面表现如何？
• RQ5 收敛速率对问题参数（如超边数量、节点度数与正则化强度）的理论依赖关系如何？

主要发现

• 所提RCD算法对QDSFM实现线性收敛，其迭代复杂度受 $ O(R\mu(\beta^{-1}W^{-1},\beta^{-1}W^{-1})\log\frac{1}{\epsilon}) $ 限制，其中 $ \mu $ 捕获了问题特定的条件数。
• 对偶QDSFM问题要求投影到乘积锥上，而非标准DSFM中的乘积多面体，因此需要新的分析工具以支持收敛性分析。
• 在合成与真实超图上的数值实验表明，QRCD-MNP与QRCD-FW在收敛速度与预测精度上均优于PDHG与SGD。
• QRCD-MNP由于内层投影更精确，实现了比QRCD-FW更高的精度，但每轮迭代的CPU时间成本更高。
• 该方法在半监督学习任务中显著提升了预测精度，相较于最先进方法具有更快的收敛速度与更好的泛化能力。
• 理论分析确认，收敛速率依赖于 $ N^2 \max(1, 9/(2\beta)) \max_{i,j} W_{ii}/W_{jj} $，表明其对正则化强度与度数不平衡具有敏感性。