[论文解读] Novel Product Manifold Modeling and Orthogonality-Constrained Neural Network Solver for Parameterized Generalized Inverse Eigenvalue Problems

Shuai Zhang, Xuelian Jiang+1 more|arXiv (Cornell University)|Jan 25, 2026

Face and Expression Recognition被引用 0

一句话总结

本论文提出一种在 Stiefel-欧几里得乘积流形上的带参数正交约束神经网络，用以求解带参数的广义逆特征值问题（PGIEP），包括奇异 B(c) 情况，并提供一个 P-SMLP 端到端训练框架。

ABSTRACT

A parameterized orthogonality-constrained neural network is proposed for the first time to solve the parameterized generalized inverse eigenvalue problem (PGIEP) on product manifolds, offering a new perspective to address PGIEP. The key contributions are twofold. First, we construct a novel model for the PGIEP, where the optimization variables are located on the product of a Stiefel manifold and a Euclidean manifold. This model enables the application of optimization algorithms on the Stiefel manifold, a capability that is not achievable with existing models. Additionally, the gradient Lipschitz continuity of the objective function is proved. Second, a parameterized Stiefel multilayer perceptron (P-SMLP) that incorporates orthogonality constraints is proposed. Through hard constraints, P-SMLP enables end-to-end training without the need of alternating training between the two manifolds, providing a robust computational framework for generic PGIEPs. Numerical experiments demonstrate the effectiveness of the proposed method.

研究动机与目标

• 动机在于超越传统的正定 B(c) 限制来求解 PGIEP，并处理 B(c) 为奇异的情况。
• 提出一种新的建模框架，将变量放置在 Stiefel 与欧几里得流形的乘积上，以实现正交约束优化。
• 开发一个带参数的 Stiefel 多层感知机（P-SMLP），通过硬约束来强制正交性，实现端到端训练。
• 建立目标函数的梯度 Lipschitz 连续性，以支撑类似 Adam 的优化器的收敛性。
• 通过对称、非对称以及奇异 B(c) 的 PGIEP 场景的数值实验，证实该方法的有效性。

提出的方法

• 在乘积流形上使用广义实Schur分解对 PGIEP 进行建模：(c, Q, Z) ∈ R^n × O(n) × O(n)，目标函数 F(c,Q,Z) 衡量 Q^T B(c) Z 与 Q^T A(c) Z 的特征值结构的符合程度。
• 使用掩码矩阵 P 编码结构约束，并导出在乘积流形上的优化问题，以强制正交性和结构限制。
• 推导两种等价优化形式：一种针对非奇异 B(c)（式（Eq. 14）），另一种针对奇异 B(c)（式（Eq. 18）），两者通过 Frobenius 范数最小化特征对齐的违背以及稀疏性/结构性的违背。
• 证明目标函数关于 Q、Z、c 的梯度 Lipschitz 连续性，确保梯度基优化方法的适用性。
• 引入参数化 SMLP（P-SMLP），以端到端方式联合优化正交矩阵和参数向量 c，避免交替优化。

实验结果

研究问题

• RQ1 PGIEP 是否可以重新表述为一个在乘积流形上的优化问题，以同时适用于对称和非对称情况，包括 B(c) 的奇异性？
• RQ2 相比传统的交替优化或基于特征值的迭代，带正交约束的神经网络（P-SMLP）是否能实现对 PGIEP 的鲁棒端到端训练？
• RQ3 支撑学习型求解器收敛的理论保障（如梯度 Lipschitz 连续性）有哪些？
• RQ4 在数值实验中，所提方法在不同的 PGIEP 范式（对称、非对称、多个特征值、奇异 B(c)）下的表现如何？

主要发现

• 提出了一种新颖的在乘积流形 S_n,r × S_n,r × R^n 上的 PGIEP 优化模型，能够处理对称、非对称、多个特征值和奇异 B(c) 情况。
• 开发了带参数的 Stiefel 多层感知机（P-SMLP），实现端到端训练的同时强制执行正交约束。
• 证明目标函数的梯度具有 Lipschitz 连续性，支持使用如 Adam 等梯度优化器。
• 数值实验表明所提模型和 P-SMLP 框架在多种 PGIEP 设置下均有效。