[论文解读] Time-Varying Graph Learning with Constraints on Graph Temporal Variation

Yokota, Haruki, K. Yamada+2 more|arXiv (Cornell University)|Jan 10, 2020

Advanced Graph Neural Networks参考文献 38被引用 32

一句话总结

本文介绍 TGFA，通过对时空数据施加时变约束来学习时变图的序列，使用 fused Lasso 或 group Lasso 正则化，并通过 primal-dual splitting 算法求解。

ABSTRACT

We propose a novel framework for learning time-varying graphs from spatiotemporal measurements. Given an appropriate prior on the temporal behavior of signals, our proposed method can estimate time-varying graphs from a small number of available measurements. To achieve this, we introduce two regularization terms in convex optimization problems that constrain sparseness of temporal variations of the time-varying networks. Moreover, a computationally-scalable algorithm is introduced to efficiently solve the optimization problem. The experimental results with synthetic and real datasets (point cloud and temperature data) demonstrate our proposed method outperforms the existing state-of-the-art methods.

研究动机与目标

• 激励从有限的、有时间戳的测量中学习随时间演变的图。
• 提出一个 TGFA 框架，用两种时变性质（P1: 时间同质性，P2: 切换行为）来建模图的演化。
• 将带有对时间图变化正则化的凸优化问题公式化，以学习拉普拉斯矩阵序列或带权邻接矩阵序列。
• 开发一个可扩展的 primal-dual splitting 算法以高效求解所提出的凸问题。
• 在合成数据和真实数据集（如点云和气象数据）上证明相对于最先进方法的性能改进。

提出的方法

• 模型：x^{(t)} ~ N(0, L_t^{†} + σ^2 I) 且 L_t = L_{t-1} + ΔL_t，从数据中学习一系列图拉普拉斯矩阵。
• 正则化：最小化 sum_t Tr(X_t^T L_t X_t) + f(L_t) + η sum_t R(ΔL_t ∘ H)，其中 L_t 属于有效拉普拉斯集合。
• 可解的重构：使用加权邻接矩阵 W_t 简化约束，强制对称性、非负性和对角线为零。
• 两种正则化范式：(i) R(·) = ||·||_1（fused Lasso）以促进时间上的稀疏变化；(ii) R(·) = ||·||_2（group Lasso）以允许在少数时间点的突变。
• 优化框架：通过 primal-dual splitting (PDS) 方法求解，具有 forward-backward-forward 步骤；为涉及的非光滑项提供近端算子。
• 算法细节：提出对 log-barrier 与 L1/group-norm 项的近端算子；给出用于以复杂度 O(N^2) 每次迭代求解问题的 Algorithm 1。

实验结果

研究问题

• RQ1 如何在有原则的时变约束（P1 和 P2）下学习随时间演变的图序列？
• RQ2 在数据有限的情况下估计时间变化的图，同时保持边权的非负性和对称性？
• RQ3 fused Lasso (P1) 与 group Lasso (P2) 正则化在检测随时间的渐进性变化与突变性连接拓扑中的影响？
• RQ4 在合成数据和真实时空数据上，所提 TGFA 基于方法的计算效率与鲁棒性是多少？

主要发现

• 当数据稀缺时，TGFA 框架优于现有的静态和时变图学习方法。
• 在合成数据集（TV-RW、TV-ER、LF-ER）上的实验表明在所提出的正则化下有效恢复时变拓扑。
• 通过结合学习到的时变图，动态点云降噪受益，性能提升。
• 学习到的时变图在气象数据中捕捉地理特征，而无需依赖显式地理信息。
• 该方法支持两种正则化方案（fused Lasso 和 group Lasso）以建模不同的时间演化模式，具有凸形式且保证收敛。