[论文解读] Nonparametric Compressive Graphical Model Selection for Vector-Valued Stationary Random Processes: A Multitask Learning Approach

Alexander Jung|arXiv (Cornell University)|Apr 4, 2014

Control Systems and Identification参考文献 36被引用 3

一句话总结

本文提出了一种非参数、压缩性的方法，用于在不假设自回归等参数模型的前提下，学习高维向量值平稳高斯时间序列的条件独立图（CIG）。该方法利用傅里叶域中的平滑性，并在高概率下保证渐近一致性，相较于现有方法在模型不匹配情况下表现更优。

ABSTRACT

We propose a method for inferring the conditional independence graph (CIG) of a high-dimensional Gaussian time series (discrete time process) from a finite-length observation. By contrast to existing approaches, we do not rely on a parametric process model (such as, e.g., an autoregressive model) for the observed random process. Instead, we only require certain smoothness properties (in the Fourier domain) of the process only. The proposed inference scheme is compressive in that it works even for sample sizes much smaller than the number of scalar process components. A theoretical performance analysis provides conditions which guarantee that the probability of the proposed inference method to deliver a wrong the CIG is below a prescribed value. This analysis reveals conditions for the new method to be consistent asymptotically. Some numerical experiments validate our theoretical performance analysis and demonstrate superior performance of our scheme compared to existing approaches in case of model mismatch.

研究动机与目标

• 从短时观测中推断高维高斯时间序列的条件独立图（CIG），而无需假设参数模型。
• 开发一种压缩推断方案，适用于样本量远小于过程分量数量的情况。
• 建立理论条件，确保错误CIG恢复概率低于预定阈值。
• 在对底层过程假设最少的条件下，实现推断方法的渐近一致性。
• 在模型不匹配场景下，验证该方法相对于现有方法的性能优越性。

提出的方法

• 该方法在傅里叶域中运行，利用谱密度矩阵的平滑性特性，避免对自回归模型等参数假设的依赖。
• 将CIG学习问题建模为多任务学习任务，实现在频率分量间的联合估计。
• 该推断方案具有压缩性，依赖于精度矩阵中的低秩与稀疏结构，从而实现在有限样本下的恢复。
• 通过理论分析，在平滑性约束下利用集中不等式界定了CIG恢复中的错误概率。
• 采用一种非参数的谱密度矩阵估计器，尊重过程在频域中的平滑性。
• 最终通过阈值化估计的精度矩阵恢复CIG，调参基于理论错误边界。

实验结果

研究问题

• RQ1 非参数方法能否在不假设AR等参数模型的前提下，推断高维平稳高斯过程的条件独立图？
• RQ2 在何种条件下，所提出的压缩推断方法能在CIG恢复中实现渐近一致性？
• RQ3 当真实过程模型被错误指定时，该方法在有限样本情形下的表现如何，相较于参数化替代方法？
• RQ4 在傅里叶域中平滑性假设下，CIG估计的错误概率可提供何种理论保证？
• RQ5 能否有效结合多任务学习原理与压缩感知，以提升高维时间序列中CIG估计的性能？

主要发现

• 在傅里叶域中谱密度矩阵的平滑性假设较弱时，所提方法可在CIG恢复中实现渐近一致性。
• 理论分析提供了明确条件，使得错误CIG恢复概率被控制在用户预设阈值以下。
• 数值实验表明，当真实过程模型被错误指定时，该方法相较于参数化方法表现更优。
• 即使样本数量远小于过程分量维度，该方法仍具有效性，证实其压缩特性。
• 在频率分量间应用多任务学习可提升高维场景下的估计精度与鲁棒性。
• 该方法无需了解真实参数模型（如AR阶数）的信息，因此在实际应用中比基于模型的替代方法更具鲁棒性。