[论文解读] Sparse Logistic Regression Learns All Discrete Pairwise Graphical Models

Shanshan Wu, Sujay Sanghavi+1 more|arXiv (Cornell University)|Jan 1, 2019

Bayesian Modeling and Causal Inference被引用 20

一句话总结

该论文表明，通过使用 $β$-正则化的最大条件对数似然法，稀疏逻辑回归能够以最优样本复杂度精确恢复任意离散成对马尔可夫随机场模型，包括伊辛模型和一般分类模型。该方法通过求解带有 $Âў1_1$ 或 $Âў1_{2,1}$ 约束的凸优化问题实现，具备可证明的保证，并且时间复杂度为 $\tilde{O}(n^2)$。

ABSTRACT

We characterize the effectiveness of a classical algorithm for recovering the Markov graph of a general discrete pairwise graphical model from i.i.d. samples. The algorithm is (appropriately regularized) maximum conditional log-likelihood, which involves solving a convex program for each node; for Ising models this is $\ell_1$-constrained logistic regression, while for more general alphabets an $\ell_{2,1}$ group-norm constraint needs to be used. We show that this algorithm can recover any arbitrary discrete pairwise graphical model, and also characterize its sample complexity as a function of model width, alphabet size, edge parameter accuracy, and the number of variables. We show that along every one of these axes, it matches or improves on all existing results and algorithms for this problem. Our analysis applies a sharp generalization error bound for logistic regression when the weight vector has an $\ell_1$ (or $\ell_{2,1}$) constraint and the sample vector has an $\ell_{\infty}$ (or $\ell_{2, \infty}$) constraint. We also show that the proposed convex programs can be efficiently solved in $ ilde{O}(n^2)$ running time (where $n$ is the number of variables) under the same statistical guarantees. We provide experimental results to support our analysis.

研究动机与目标

• 刻画稀疏逻辑回归在离散成对马尔可夫随机场模型上的样本复杂度与恢复性能。
• 建立该方法能够精确恢复任意离散成对马尔可夫网络（包括多值变量的模型）的理论依据。
• 在权重向量的 $\ell_1$ 或 $\ell_{2,1}$ 范数约束以及特征的 $\ell_\infty$ 或 $\ell_{2,\infty}$ 约束下，提供紧致的一般化误差界。
• 证明所使用的凸优化问题可在 $\tilde{O}(n^2)$ 时间内高效求解，同时保持统计保证。
• 通过合成数据和真实数据的实验，验证理论结果的有效性。

提出的方法

• 该方法使用（正则化）最大条件对数似然法，逐个节点估计马尔可夫网络结构。
• 对于二值变量（伊辛模型），采用 $\ell_1$-约束的逻辑回归；对于多值变量，则使用 $\ell_{2,1}$-组范数正则化。
• 分析基于在 $\ell_1$ 或 $\ell_{2,1}$ 权重约束下，以及 $\ell_\infty$ 或 $\ell_{2,\infty}$ 特征约束下的逻辑回归的紧致泛化误差界。
• 该算法将每个节点视为一个预测任务，通过条件似然回归其状态与网络其余部分的关系。
• 利用一阶方法高效求解凸优化问题，实现 $\tilde{O}(n^2)$ 的运行时间，同时保持相同的统计保证。
• 理论分析结合了集中不等式与对模型参数的结构假设，以界定向恢复误差。

实验结果

研究问题

• RQ1 稀疏逻辑回归是否能够精确恢复任意离散成对马尔可夫随机场模型，无论字母表大小或边参数取值如何？
• RQ2 使用该方法精确恢复马尔可夫网络结构所需的最优样本复杂度是多少？
• RQ3 该方法在模型宽度、字母表大小和边精度方面，与现有算法相比表现如何？
• RQ4 所使用的凸优化问题是否能够在保持统计一致性与恢复保证的前提下高效求解？
• RQ5 在 $\ell_1$ 和 $\ell_{2,1}$ 约束下，且特征范数有界时，逻辑回归的最紧致一般化误差界是什么？

主要发现

• 在适当的正则化条件下，该方法能够精确恢复任意离散成对马尔可夫随机场模型，包括多值变量的模型。
• 样本复杂度随模型宽度、字母表大小和所需边参数精度的提升而实现最优缩放。
• 在所有考虑的参数下，该算法的样本复杂度优于或匹配所有先前工作。
• 凸优化问题可在 $\tilde{O}(n^2)$ 时间内求解，使该方法可扩展至大规模网络。
• 理论保证基于在 $\ell_1$ 和 $\ell_{2,1}$ 约束下，结合 $\ell_\infty$ 和 $\ell_{2,\infty}$ 特征约束的紧致泛化误差界推导得出。
• 实验结果验证了理论预测，表明即使在高维设置下，也能实现准确的结构恢复。