[论文解读] On the Higher-Order Derivatives of Spectral Functions: Two Special Cases

Hristo S. Sendov|ArXiv.org|Apr 19, 2004

Matrix Theory and Algorithms参考文献 11被引用 3

一句话总结

本文提出了一种统一的张量化框架，用于通过广义Hadamard积计算对称矩阵特征值函数的高阶导数——即特征值函数的导数。该框架在两种关键情形下推导出k阶导数的显式公式：(1) 当基函数f具有k阶可微性且矩阵具有互异特征值时；(2) 当函数f为可分离对称函数时，适用于任意对称矩阵。其主要贡献在于以类似微积分的方式，系统化地推导出一般谱函数的Hessian矩阵，显著简化了先前的结果。

ABSTRACT

In this work we use the tensorial language developed in [8] and [9] to differentiate functions of eigenvalues of symmetric matrices. We describe the formulae for the k-th derivative of such functions in two cases. The first case concerns the derivatives of the composition of an arbitrary differentiable function with the eigenvalues at a matrix with distinct eigenvalues. The second development describes the derivatives of the composition of a separable symmetric function with the eigenvalues at an arbitrary symmetric matrix. In the concluding section we re-derive the formula for the Hessian of a general spectral function at an arbitrary point. Our approach leads to a shorter, streamlined derivation than the original in [6]. The language we use, based on the generalized Hadamard product, allows us to view the differentiation of spectral functions as a routine calculus-type procedure.

研究动机与目标

• 开发一种系统化、类似微积分的方法，用于计算对称矩阵谱函数的高阶导数。
• 将先前关于谱函数梯度与Hessian矩阵的研究结果推广至任意阶k。
• 基于张量分析与广义Hadamard积，构建一个统一框架，将特征值依赖性与正交共轭作用作为独立、模块化的组成部分处理。
• 以更短、更清晰的方式重新推导一般谱函数的Hessian矩阵。
• 建立k阶导数公式得以简化的条件，特别是针对可分离对称函数的情形。

提出的方法

• 使用基于广义Hadamard积的张量语言，表达谱函数的高阶导数。
• 将 $ f \circ \lambda $ 的k阶导数表示为 $ \nabla^k(f \circ \lambda)(X) = V \left( \sum_{\sigma \in P^k} \mathrm{Diag}^\sigma \mathcal{A}_\sigma(\lambda(X)) \right) V^T $，其中 $ V $ 为矩阵 $ X $ 的对角化矩阵。
• 以 $ f $ 的至多k阶偏导数为依据，定义算子 $ \mathrm{Diag}^\sigma $ 与 $ \mathcal{A}_\sigma $，其定义与特征值无关。
• 将该框架应用于两种特殊情况：(1) $ f $ 具有k阶可微性且矩阵具有互异特征值；(2) $ f $ 为可分离对称函数，适用于任意对称矩阵。
• 利用块常数张量与微分极限推导Hessian矩阵，借助 $ \nabla f $ 及其导数的性质。
• 通过分析 $ \mathcal{A}_\sigma $ 及其在扰动下的极限，建立 $ f \circ \lambda $ 的连续性与可微性。

实验结果

研究问题

• RQ1 如何利用统一的张量化形式，系统化地计算谱函数的高阶导数？
• RQ2 当 $ f $ 具有k阶可微性且矩阵具有互异特征值时，$ f \circ \lambda $ 的k阶导数具有何种结构？
• RQ3 当 $ f $ 为可分离对称函数时，k阶导数的公式如何简化？
• RQ4 能否利用该框架以更简洁、更直观的方式重新推导一般谱函数的Hessian矩阵？
• RQ5 在何种条件下，可保证 $ f \circ \lambda $ 关于基函数 $ f $ 的可微性与连续性？

主要发现

• 对于具有互异特征值的对称矩阵 $ X $，$ f \circ \lambda $ 的k阶导数为 $ V \left( \sum_{\sigma \in P^k} \mathrm{Diag}^\sigma \mathcal{A}_\sigma(\lambda(X)) \right) V^T $，其中 $ \mathcal{A}_\sigma $ 仅依赖于 $ f $ 的至多k阶偏导数。
• 对于可分离对称函数，所有 $ \mathcal{A}_\sigma $ 在所有排列 $ \sigma $ 下相同，导致k阶导数公式出现显著简化。
• 利用广义Hadamard积形式化体系，以更短、更直观的方式重新推导了一般谱函数的Hessian矩阵，优于文献[6]中的方法。
• 该框架表明，$ f \circ \lambda $ 为 $ C^k $ 当且仅当 $ f $ 为 $ C^k $，且该可微性在基于张量的微分过程中得以保持。
• 该方法将特征值依赖性与正交共轭作用视为可分离的组成部分，从而实现类似微积分的常规导数计算。
• 通过使用块常数张量与微分极限，实现了Hessian矩阵的清晰、透明推导，避免了早期方法中复杂的代数运算。