[论文解读] Verifying $k$-Contraction without Computing $k$-Compounds

Omri Dalin, Ron Ofir+4 more|arXiv (Cornell University)|Sep 2, 2022

Neural Networks Stability and Synchronization被引用 5

一句话总结

本文提出一种基于对偶性的方法，用于在不计算通常规模庞大且计算成本高昂的 $k$-复合矩阵的情况下，验证非线性系统中的 $k$-收缩性。通过利用 $k$-与 $(n-k)$-复合之间的对偶性，作者推导出仅依赖原始雅可比矩阵和矩阵范数的 $k$-收缩性充分条件，并在三维霍普菲尔德网络中进行了验证，其中 $k=2$ 意味着所有有界解均收敛至平衡点——这对联想记忆应用具有重要意义。

ABSTRACT

Compound matrices have found applications in many fields of science including systems and control theory. In particular, a sufficient condition for $k$-contraction is that a logarithmic norm (also called matrix measure) of the $k$-additive compound of the Jacobian is uniformly negative. However, this may be difficult to check in practice because the $k$-additive compound of an $n imes n$ matrix has dimensions $\binom{n}{k} imes \binom{n}{k}$. For an $n imes n$ matrix $A$, we prove a duality relation between the $k$ and $(n-k)$ compounds of $A$. We use this duality relation to derive a sufficient condition for $k$-contraction that does not require the computation of any $k$-compounds. We demonstrate our results by deriving a sufficient condition for $k$-contraction of an $n$-dimensional Hopfield network that does not require to compute any compounds. In particular, for $k=2$ this sufficient condition implies that the network is $2$-contracting and this implies a strong asymptotic property: every bounded solution of the network converges to an equilibrium point, that may not be unique. This is relevant, for example, when using the Hopfield network as an associative memory that stores patterns as equilibrium points of the dynamics.

研究动机与目标

• 为解决通过 $k$-复合矩阵验证 $k$-收缩性的计算不可行性，因为其规模随 $\binom{n}{k} \times \binom{n}{k}$ 增长。
• 开发一种避免显式计算 $k$-复合矩阵的 $k$-收缩性充分条件，利用 $k$-与 $(n-k)$-复合之间的对偶性。
• 在霍普菲尔德神经网络上应用该方法，证明 $k=2$-收缩性意味着所有有界解收敛至平衡点。
• 提供一种实用工具，用于分析多稳定性系统（如联想记忆网络），标准收缩理论在这些系统中失效。

提出的方法

• 推导矩阵 $A \in \mathbb{C}^{n \times n}$ 的 $k$-复合与 $(n-k)$-复合之间的对偶关系，关联其对数范数。
• 利用该对偶性，通过算子 $\tau_{p,k}$ 将 $k$-复合的对数范数表达为原矩阵及其 $L_p$-范数的函数。
• 定义 $\tau_{p,k}(A) := \operatorname{tr}(A) + (n - 2k)\mu_{q,T}(-A)$，其中 $p \in \{1,2,\infty\}$，且满足 $p^{-1} + q^{-1} = 1$，以避免 $k$-复合矩阵的计算。
• 建立 $\mu(A^{[k]}) < 0$ 当且仅当 $\tau_{p,k}(A) < 0$，从而实现无需复合矩阵计算的 $k$-收缩性验证。
• 将该方法应用于三维霍普菲尔德网络，通过验证 $\tau_{p,2}(J(x)) < 0$ 及平衡点处 $\det(J(e)) < 0$，确认 $2$-收缩性及有界解的收敛性。
• 证明当 $k=2$ 时，$k$-收缩性意味着所有有界轨迹全局收敛至平衡点，即使平衡点不唯一。

实验结果

研究问题

• RQ1 能否在不计算雅可比矩阵的 $k$-加法复合矩阵（其规模随 $n$ 和 $k$ 的组合增长）的情况下，验证 $k$-收缩性？
• RQ2 矩阵的 $k$-复合与 $(n-k)$-复合之间存在何种对偶关系？这些关系如何用于稳定性分析？
• RQ3 所提出的 方法能否应用于具有多个平衡点的系统（如霍普菲尔德网络），在标准收缩理论失效的情况下？
• RQ4 该 $k$-收缩性的新充分条件是否意味着强渐近行为，如所有有界解收敛至平衡点？

主要发现

• $k$-与 $(n-k)$-复合之间的对偶关系使得 $k$-复合的对数范数可表示为原矩阵及其 $L_p$-范数的函数，从而避免了对复合矩阵的直接计算。
• 充分条件 $\tau_{p,k}(J(x)) < 0$ 确保 $k$-收缩性，且无需计算 $J^{[k]}(x)$，其中 $\tau_{p,k}(A) = \operatorname{tr}(A) + (n - 2k)\mu_{q,T}(-A)$。
• 对于三维霍普菲尔德网络（$k=2$），条件 $\tau_{p,2}(J(x)) < 0$ 对所有 $x$ 成立，表明系统满足 $2$-收缩性，且所有有界轨迹收敛至平衡点。
• 由于 $\det(J(e^2)) < 0$，平衡点 $e^2$ 是局部渐近稳定的，而 $e^1$ 不稳定，与收敛结果一致。
• 该方法使对非 $1$-收缩性系统（如多稳定性系统）的分析成为可能，通过采用 $k>1$ 的 $k$-收缩性，可捕捉更强的渐近行为。
• 该方法可推广至任意 $p \in \{1,2,\infty\}$，且结果提示未来可扩展至其他 $L_p$ 范数及控制综合。