[论文解读] The Complex Gradient Operator and the CR-Calculus

Ken Kreutz-Delgado|ArXiv.org|Jun 26, 2009

Mathematical Analysis and Transform Methods参考文献 17被引用 379

一句话总结

本文提出了 $ℂ\mathbb{CR}$-微分法，这是一种严谨的框架，通过将复变量的实值函数视为从 $ℝ^2$ 到 $ℝ$ 的可微映射，来计算其梯度，从而解决了复梯度定义中的歧义。通过共轭梯度（共轭梯度）算子推导出复 LMS 算法，表明标准复 LMS 更新规则自然地从该形式化体系中产生，其中梯度计算为 $\nabla_a \ell(a) = -\mathbb{E}\{\xi_k \bar{e}_k\}$。

ABSTRACT

A thorough discussion and development of the calculus of real-valued functions of complex-valued vectors is given using the framework of the Wirtinger Calculus. The presented material is suitable for exposition in an introductory Electrical Engineering graduate level course on the use of complex gradients and complex Hessian matrices, and has been successfully used in teaching at UC San Diego. Going beyond the commonly encountered treatments of the first-order complex vector calculus, second-order considerations are examined in some detail filling a gap in the pedagogic literature.

研究动机与目标

• 为非全纯的复变量实值函数的复梯度定义中存在的混淆与不一致提供解决方法，这些函数缺乏标准复导数。
• 形式化一个一致的框架——$ℂ\mathbb{CR}$-微分法——将复函数视为从 $ℝ^2$ 到 $ℝ$ 的映射，从而为优化提供正确的梯度计算方法。
• 阐明在复参数优化背景下，复共轭梯度（行向量）与复梯度（列向量）算子之间的区别。
• 通过 $ℂ\mathbb{CR}$-微分法从第一原理推导复 LMS 算法，证明其与标准形式通过共轭梯度等价。
• 证明尽管伪牛顿法计算量较小，但在二次损失函数背景下，其收敛速度仍慢于完整牛顿法。

提出的方法

• 本文引入 $ℂ\mathbb{CR}$-微分法作为混合框架，将复函数视为从 $ℝ^2$ 到 $ℝ$ 的实值映射，从而在标准复分析导数失效时仍能实现微分。
• 定义复共轭梯度算子为对 $a$ 的行向量导数，复梯度为其共轭转置，以确保最速上升方向的正确性。
• 对于实值损失函数 $\ell(a) = \mathbb{E}\{ |e_k|^2 \}$，共轭梯度计算为 $\frac{\partial}{\partial a} \ell(a) = \mathbb{E}\{ -e_k \xi_k^H \}$，利用链式法则对 $|e_k|^2 = e_k \bar{e}_k$ 进行求导。
• 梯度推导为 $\nabla_a \ell(a) = -\mathbb{E}\{ \xi_k \bar{e}_k \}$，该结果给出最速上升方向，从而在自适应算法中导出最速下降更新。
• 通过瞬时随机梯度近似推导复 LMS 算法：$\widehat{a}_{k+1} = \widehat{a}_k + \alpha_k \xi_k \bar{e}_k$，其中 $\bar{e}_k = \bar{\eta}_k - \xi_k^H \widehat{a}_k$。
• 本文对比了伪牛顿法与完整牛顿法，表明前者收敛更慢，原因在于海森矩阵的对角线元素非零，这与认为其必须为零的论断相矛盾。

实验结果

研究问题

• RQ1 如何为非全纯的复变量实值函数一致地定义复梯度？
• RQ2 在复参数优化中，复共轭梯度（行向量）与复梯度（列向量）之间存在何种关系？
• RQ3 为何标准复 LMS 算法在更新规则中使用误差的共轭？这一做法如何从严谨的微分框架中推导而出？
• RQ4 在何种条件下，伪牛顿法在二次损失问题中无法实现一步收敛？原因是什么？
• RQ5 $ℂ\mathbb{CR}$-微分法如何解决文献中关于信号处理与自适应滤波领域复导数的歧义与不一致？

主要发现

• 复 LMS 算法通过 $ℂ\mathbb{CR}$-微分法严格推导得出，表明更新规则 $\widehat{a}_{k+1} = \widehat{a}_k + \alpha_k \xi_k \bar{e}_k$ 源于梯度 $\nabla_a \ell(a) = -\mathbb{E}\{ \xi_k \bar{e}_k \}$。
• 对 $|e_k|^2$ 关于 $a$ 的共轭梯度为 $-e_k \xi_k^H$，经共轭转置后得到梯度 $\nabla_a |e_k|^2 = -\xi_k \bar{e}_k$。
• 最小均方误差（MMSE）估计的维纳-霍普夫方程被恢复为损失函数的驻点，与经典结果一致。
• 伪牛顿算法收敛速度慢于完整牛顿法，因为海森矩阵 $\mathcal{H}_{\mathbf{c}\mathbf{c}}^{\mathbb{C}}$ 的对角线元素通常非零且不可忽略。
• 本文反驳了文献 [32] 中关于二次损失函数下海森矩阵的非对角线元素必须为零的论断，指出这仅在全纯逆问题中成立，而非普遍情况。
• $ℂ\mathbb{CR}$-微分法为复梯度计算提供了统一且无歧义的框架，解决了信号处理领域长期存在的复导数定义模糊问题。