[论文解读] Proper Complex Gaussian Processes for Regression

Rafael Boloix-Tortosa, F. Javier Payán-Somet+2 more|arXiv (Cornell University)|Feb 17, 2015

Gaussian Processes and Bayesian Inference参考文献 27被引用 3

一句话总结

本文提出了一种用于回归的新型合适复高斯过程框架，通过卷积交叉协方差导出的复值核函数，确保各向同性和平稳性。通过利用复输入差的模长来建模相似性，并采用Wirtinger导数进行超参数学习，该方法在非抵消交叉协方差场景下相比先前方法实现了更高的估计精度。

ABSTRACT

Complex-valued signals are used in the modeling of many systems in engineering and science, hence being of fundamental interest. Often, random complex-valued signals are considered to be proper. A proper complex random variable or process is uncorrelated with its complex conjugate. This assumption is a good model of the underlying physics in many problems, and simplifies the computations. While linear processing and neural networks have been widely studied for these signals, the development of complex-valued nonlinear kernel approaches remains an open problem. In this paper we propose Gaussian processes for regression as a framework to develop 1) a solution for proper complex-valued kernel regression and 2) the design of the reproducing kernel for complex-valued inputs, using the convolutional approach for cross-covariances. In this design we pay attention to preserve, in the complex domain, the measure of similarity between near inputs. The hyperparameters of the kernel are learned maximizing the marginal likelihood using Wirtinger derivatives. Besides, the approach is connected to the multiple output learning scenario. In the experiments included, we first solve a proper complex Gaussian process where the cross-covariance does not cancel, a challenging scenario when dealing with proper complex signals. Then we successfully use these novel results to solve some problems previously proposed in the literature as benchmarks, reporting a remarkable improvement in the estimation error.

研究动机与目标

• 开发一种基于合适复高斯过程的非线性回归原理性框架，解决现有复核方法的局限性。
• 设计一种复值再生核，保留复数域中的物理相似性度量，确保各向同性和平稳性。
• 通过边际似然最大化结合Wirtinger导数实现超参数学习，避免交叉验证。
• 将框架扩展至多输出学习场景，同时保持核函数的合适性与半正定性。
• 在涉及非抵消交叉协方差的基准问题上展示优越性能，而先前方法在此类场景中失效。

提出的方法

• 该方法通过组合协方差矩阵的实部与虚部构建复值核函数，其中实部捕捉分量内协方差，虚部则建模实部与虚部之间的交叉协方差。
• 采用基于四个基函数的卷积方法设计核函数，使用参数化的指数形式以确保平滑性与物理解释性。
• 强制交叉协方差结构为反对称且半正定，确保完整协方差矩阵保持为有效的再生核。
• 通过复输入之间差的绝对值测量相似性，实现核函数设计中的各向同性和平稳性。
• 通过最大化边际似然函数，利用Wirtinger导数优化超参数，该技术适用于复值函数。
• 在单输出与多输出回归设置中对框架进行了验证，并与现有基准方法进行了性能比较。

实验结果

研究问题

• RQ1 如何设计一种合适的复值核函数，以在建模实部与虚部之间交叉协方差的同时，确保各向同性和平稳性？
• RQ2 能否构建一种复高斯过程框架，在保持合适性的同时支持完整的贝叶斯推断与概率输出？
• RQ3 在复值回归中，使用Wirtinger导数进行边际似然最大化如何改善超参数学习？
• RQ4 在非抵消交叉协方差场景下，所提出的核函数相比现有复核函数的性能增益如何？
• RQ5 所提出的框架在复值信号处理中的多输出学习任务中具有多大程度的泛化能力？

主要发现

• 所提出的核函数通过测量输入间复差的模长实现各向同性和平稳性，从而更优地建模物理系统。
• 该方法成功处理了交叉协方差不抵消的挑战性场景，这是先前方法的局限。
• 在文献中既往使用的基准问题上，该框架报告了估计误差的显著降低，证明了其优越的泛化能力。
• 核结构通过构造保证为半正定，确保其在复值再生核Hilbert空间中作为有效再生核的合法性。
• 使用Wirtinger导数可实现高效且精确的超参数学习，避免了交叉验证的需要。
• 该设计允许独立调节核函数的实部与虚部，提升灵活性，同时不牺牲合适性或稳定性。