[论文解读] Sparse Quadratic Optimisation over the Stiefel Manifold with Application to Permutation Synchronisation

Florian Bernard, Daniel Cremers+1 more|arXiv (Cornell University)|Sep 30, 2021

Face and Expression Recognition被引用 4

一句话总结

该论文提出了一种新颖算法，通过增强正交迭代法来在Stiefel流形上求解稀疏二次优化问题，利用正交不变性在保持全局最优性的同时促进稀疏性。该方法在排列同步任务中表现优越，准确率和运行时间均优于以往方法。

ABSTRACT

We address the non-convex optimisation problem of finding a sparse matrix on the Stiefel manifold (matrices with mutually orthogonal columns of unit length) that maximises (or minimises) a quadratic objective function. Optimisation problems on the Stiefel manifold occur for example in spectral relaxations of various combinatorial problems, such as graph matching, clustering, or permutation synchronisation. Although sparsity is a desirable property in such settings, it is mostly neglected in spectral formulations since existing solvers, e.g. based on eigenvalue decomposition, are unable to account for sparsity while at the same time maintaining global optimality guarantees. We fill this gap and propose a simple yet effective sparsity-promoting modification of the Orthogonal Iteration algorithm for finding the dominant eigenspace of a matrix. By doing so, we can guarantee that our method finds a Stiefel matrix that is globally optimal with respect to the quadratic objective function, while in addition being sparse. As a motivating application we consider the task of permutation synchronisation, which can be understood as a constrained clustering problem that has particular relevance for matching multiple images or 3D shapes in computer vision, computer graphics, and beyond. We demonstrate that the proposed approach outperforms previous methods in this domain.

研究动机与目标

• 解决在Stiefel流形上组合优化问题的谱松弛方法中缺乏稀疏性促进的问题。
• 在正交矩阵上的二次优化中，维持全局最优性保证的同时获得稀疏解。
• 利用正交不变性，将解旋转至更稀疏的表示形式，而不损失最优性。
• 提升排列同步任务的性能，这是多图像和3D形状匹配中的关键问题。
• 提供一种可扩展、高效且可微分的方法，适用于集成到学习流水线中。

提出的方法

• 通过引入一个促进稀疏性的辅助目标，对正交迭代算法进行改进，利用基于梯度的旋转来调整解矩阵。
• 在每次迭代中，基于对当前迭代值应用的稀疏性促进目标函数的梯度，计算一个旋转矩阵。
• 旋转操作保持主导子空间不变，确保解对原始二次问题仍保持全局最优。
• 该算法保持与标准正交迭代算法相同的收敛特性，几乎处处保证收敛。
• 通过在不变子空间内旋转解来实现稀疏性，利用了正交变换下全局最优解保持最优的性质。
• 该方法可通过修改稀疏性促进目标函数，可选地引入非负性约束。

实验结果

研究问题

• RQ1 能否在不牺牲全局最优性的情况下，有效促进Stiefel流形优化中的稀疏性？
• RQ2 是否可以利用正交不变性，将全局最优解旋转至更稀疏的表示形式？
• RQ3 在排列同步任务中，所提方法与现有谱松弛技术相比表现如何？
• RQ4 稀疏性促进机制在组合优化问题中对离散解质量的提升程度如何？
• RQ5 该方法能否扩展至其他需要正交性、稀疏性和非负性约束的谱松弛问题？

主要发现

• 所提算法在Stiefel流形上实现了二次优化问题的全局最优解，同时通过正交不变性有效促进稀疏性。
• 该方法与原始正交迭代算法具有相同的收敛速率和全局最优性保证。
• 在排列同步任务中，该方法获得的F-score更高，且循环一致性优于最先进基线方法。
• 在部分排列同步任务中，该算法表现出更优性能，尤其在噪声或数据不完整的情况下。
• 该方法计算高效，且由于QR分解的可微性，与可微编程兼容。
• 实验结果证实，该算法产生的解具有更少的大数值元素和更多接近零的元素，表明稀疏性促进效果显著。