[论文解读] On the Information-theoretic Limits of Graphical Model Selection for Gaussian Time Series

Gábor Hannák, Alexander Jung+1 more|arXiv (Cornell University)|Mar 4, 2014

Fault Detection and Control Systems被引用 4

一句话总结

本文利用法诺不等式和谱平滑性约束，建立了多变量平稳高斯时间序列中可靠条件独立图（CIG）选择所需样本量的信息论下界。结果表明，一种简单的非参数选择方案可达到这些下界，揭示样本量需求与谱平滑性无关，暗示现有充分条件可能次优。

ABSTRACT

We consider the problem of inferring the conditional independence graph (CIG) of a multivariate stationary dicrete-time Gaussian random process based on a finite length observation. Using information-theoretic methods, we derive a lower bound on the error probability of any learning scheme for the underlying process CIG. This bound, in turn, yields a minimum required sample-size which is necessary for any algorithm regardless of its computational complexity, to reliably select the true underlying CIG. Furthermore, by analysis of a simple selection scheme, we show that the information-theoretic limits can be achieved for a subclass of processes having sparse CIG. We do not assume a parametric model for the observed process, but require it to have a sufficiently smooth spectral density matrix (SDM).

研究动机与目标

• 确定任何算法可靠推断多变量平稳高斯时间序列条件独立图（CIG）所需的最小样本量。
• 使用信息论方法建立CIG选择误差概率的根本下界，且独立于计算复杂度。
• 评估现有非参数图模型选择方案是否达到这些信息论极限。
• 研究谱平滑性与稀疏性在决定CIG学习样本复杂度中的作用。

提出的方法

• 通过在一组合理CIG上应用法诺不等式，推导任何CIG学习方案的误差概率下界。
• 通过矩条件 μx = ∑|m|‖Rx[m]‖∞ < ∞ 对谱密度矩阵（SDM）施加平滑性约束，以确保谱的正则性。
• 分析一种基于估计过程分量在傅里叶域内积的非参数选择方案，以恢复邻域结构。
• 利用集中不等式和高斯尾部界，推导可靠邻域恢复所需的样本量充分条件。
• 通过节点间的并集界控制整体图选择误差概率。
• 将推导出的下界与特定选择方案的性能进行比较，以评估极限的紧致性。

实验结果

研究问题

• RQ1 任何算法可靠选择多变量高斯时间序列真实条件独立图（CIG）所需的最小样本量是多少？
• RQ2 所需样本量如何依赖于以自相关函数矩 μx 衡量的过程谱平滑性？
• RQ3 简单的非参数选择方案能否实现CIG选择的信息论下界？
• RQ4 样本复杂度是否如分析所示，与相关宽度（即SDM平滑性）无关？
• RQ5 在哪些过程类别中，信息论极限变得紧致，且能否被计算高效的方案实现？

主要发现

• 可靠CIG选择所需样本量的信息论下界与过程的谱平滑性（即相关宽度）无关。
• 对于CIG极度稀疏的一类子过程，推导出的下界是紧致的，且可被一种简单的非参数选择方案实现。
• 可靠CIG学习所需的样本量不随谱密度矩阵的平滑性而增长，这与普遍假设相反。
• 通过所提方案实现可靠选择的充分条件为 N ≥ 32B⁴ log(p²/δ)/ρ_min²，该条件与信息论极限仅相差对数因子。
• 分析表明，先前工作中（如[9]）的充分条件并非最优，因其可能高估了所需样本量。
• 该选择方案的误差概率随样本量呈指数衰减，衰减速率取决于最小特征值间隙 ρ_min 和谱范数上界 B。