[论文解读] Optimizing certain combinations of spectral and linear$/$distance functions over spectral sets

M. Seetharama Gowda|arXiv (Cornell University)|Feb 18, 2019

Advanced Optimization Algorithms Research参考文献 31被引用 4

一句话总结

本文引入了范-蒂博尔德-冯·诺伊曼（FTvN）系统，这是一种统一框架，用于在不同代数结构中的谱集上优化谱函数、线性函数和距离函数的组合。该研究证明，谱集上的此类优化问题等价于其在特征值映射像上的对应问题，且在满足交换性条件时最优值可被达到，从而推广了约当代数、正规分解系统和双曲多项式中的经典结果。

ABSTRACT

In the settings of Euclidean Jordan algebras, normal decomposition systems (or Eaton triples), and structures induced by complete isometric hyperbolic polynomials, we consider the problem of optimizing a certain combination (such as the sum) of spectral and linear$/$distance functions over a spectral set. To present a unified theory, we introduce a new system called Fan-Theobald-von Neumann system which is a triple $(V,W,λ)$, where $V$ and $W$ are real inner product spaces and $λ:V ightarrow W$ is a norm preserving map satisfying a Fan-Theobald-von Neumann type inequality together with a condition for equality. In this general setting, we show that optimizing a certain combination of spectral and linear$/$distance functions over a set of the form $E=λ^{-1}(Q)$ in $V$, where $Q$ is a subset of $W$, is equivalent to optimizing a corresponding combination over the set $λ(E)$ and relate the attainment of the optimal value to a commutativity concept. We also study related results for convex functions in place of linear$/$distance functions. Particular instances include the classical results of Fan and Theobald, von Neumann, results of Tam, Lewis, and Bauschke et al., and recent results of Ramirez et al. As an application, we present a commutation principle for variational inequality problems over such a system.

研究动机与目标

• 统一并推广欧几里得约当代数、正规分解系统与双曲多项式结构中的优化结果。
• 识别一组最小公理——即范-蒂博尔德-冯·诺伊曼系统所捕捉的——以确保在谱集上进行的优化与其在特征值映射下的像之间具有等价性。
• 将谱优化的经典结果扩展至谱函数与线性函数、距离函数及凸函数的组合。
• 建立一个交换性条件，以刻画此类优化问题中最优值的取得。
• 在该广义设定下，为变分不等方程问题提供一个交换性原理。

提出的方法

• 将FTvN系统定义为三元组 $({\cal V}, {\cal W}, \lambda)$，其中 $\lambda: {\cal V} \to {\cal W}$ 是一个保持范数的映射，满足范-蒂博尔德-冯·诺伊曼型不等式及等式条件。
• 将谱集定义为子集 $Q \subseteq {\cal W}$ 的原像 $E = \lambda^{-1}(Q)$，并将谱函数定义为复合函数 $\Phi = \phi \circ \lambda$。
• 推导出等价性定理：$\sup_E(f + \Phi) = \sup_{\lambda(E)}(f^* + \phi)$ 与 $\inf_E(g + \Phi) = \inf_{\lambda(E)}(g_* + \phi)$，其中 $f^*$ 与 $g_*$ 是在 ${\cal W}$ 上诱导的函数。
• 证明最优值可被达到当且仅当优化变量 $x$ 与参数 $c$ 满足交换性条件 $\langle c, x \rangle = \langle \lambda(c), \lambda(x) \rangle$。
• 将该框架应用于恢复并推广欧几里得约当代数、伊顿三元组与双曲多项式中的已知结果。
• 构造了一个新颖的FTvN系统示例，其既非正规分解系统也非欧几里得约当代数，该系统基于实内积空间上的非恒等等距线性映射。

实验结果

研究问题

• RQ1 能否将谱集上优化与其在特征值映射下像之间的等价性，推广至约当代数与伊顿三元组等经典设定之外？
• RQ2 何种最小公理结构可确保在谱集上对谱函数与线性/距离函数之和的优化，可约化为在像空间上的优化？
• RQ3 如何通过决策变量与问题参数之间的交换性条件，刻画最优值的取得？
• RQ4 在这些优化等价性中，凸函数在多大程度上可替代线性或距离函数？
• RQ5 是否存在非平凡的FTvN系统示例，其与已知结构（如欧几里得约当代数或正规分解系统）不同构？

主要发现

• 在谱集 $E = \lambda^{-1}(Q)$ 上对 $f + \Phi$ 的优化，等价于在 $\lambda(E)$ 上对 $f^* + \phi$ 的优化，且满足 $\sup_E(f + \Phi) = \sup_{\lambda(E)}(f^* + \phi)$ 与 $\inf_E(g + \Phi) = \inf_{\lambda(E)}(g_* + \phi)$。
• 最优值可被达到当且仅当优化变量 $x$ 满足 $\langle c, x \rangle = \langle \lambda(c), \lambda(x) \rangle$，该条件在FTvN系统中定义了交换性。
• 该框架恢复并推广了经典结果：范不等式、冯·诺伊曼迹不等式、蒂博尔德迹最小化以及塔姆关于对称锥的结果。
• 本文构造了一个非平凡的FTvN系统 $({\mathbb{R}}^2, {\mathbb{R}}^2, S)$，其中 $S$ 为 $90^\circ$ 旋转，该系统既非正规分解系统也非欧几里得约当代数。
• 建立了变分不等方程问题的交换性原理：在谱集上VI问题的解，对应于在 $\lambda$ 下像空间上的解，且满足相同的交换性条件。
• 等价性结果不仅适用于和，也适用于其他函数组合，包括用凸函数替代线性或距离函数的情形。