[论文解读] Robust Estimation of Tree Structured Ising Models

Ashish Katiyar, Vatsal Shah+1 more|arXiv (Cornell University)|Jun 10, 2020

Bayesian Modeling and Causal Inference参考文献 2被引用 7

一句话总结

本文研究了在节点观测值受未知、不等、独立符号翻转噪声污染时，学习树状结构伊辛模型的挑战。证明该问题在一般情况下不可识别，但仅限于叶节点及其邻居可置换的树等价类中；并提出一种具有对数样本复杂度和多项式时间复杂度的鲁棒算法，可恢复该等价类，在噪声数据上优于标准方法。

ABSTRACT

We consider the task of learning Ising models when the signs of different random variables are flipped independently with possibly unequal, unknown probabilities. In this paper, we focus on the problem of robust estimation of tree-structured Ising models. Without any additional assumption of side information, this is an open problem. We first prove that this problem is unidentifiable, however, this unidentifiability is limited to a small equivalence class of trees formed by leaf nodes exchanging positions with their neighbors. Next, we propose an algorithm to solve the above problem with logarithmic sample complexity in the number of nodes and polynomial run-time complexity. Lastly, we empirically demonstrate that, as expected, existing algorithms are not inherently robust in the proposed setting whereas our algorithm correctly recovers the underlying equivalence class.

研究动机与目标

• 解决节点观测值受未知、不等、独立符号翻转噪声污染时，学习树状结构伊辛模型的问题。
• 研究在缺乏错误概率辅助信息的情况下，底层树结构是否仍可识别。
• 开发一种高效算法，以恢复在噪声模型下不可区分的树的等价类。
• 通过实证结果表明，如Chow-Liu和Sparsitron等现有方法在该噪声模型下会失效，而所提方法能成功恢复结构。

提出的方法

• 证明学习问题在一般情况下不可识别，但不可识别性仅限于叶节点及其直接邻居的置换。
• 刻画在噪声模型下不可区分的树的等价类，表明仅叶节点及其父节点的局部重排存在歧义。
• 提出一种算法，通过估计噪声下的经验相关系数，并在估计的相关系数矩阵上使用改进的最大权生成树方法，以恢复等价类。
• 利用Hoeffding不等式推导出在噪声采样下经验相关系数的集中不等式，确保以高概率实现可靠估计。
• 通过所有节点对的并集界控制整个图中估计误差的概率。
• 推导出样本复杂度界 $ m = \mathcal{O}(\delta^{-2} \log(n^2 / \tau)) $，表明对于给定的误差容忍度 $\delta$ 和置信度 $\tau$，样本复杂度在节点数上呈对数依赖。

实验结果

研究问题

• RQ1 当节点观测值受未知、不等、独立符号翻转噪声污染时，树状结构伊辛模型的结构是否可识别？
• RQ2 在此设定下，不可识别性的本质是什么——能否将其表征为有限的树等价类？
• RQ3 能否设计一种高效算法，以低样本复杂度和计算复杂度恢复该等价类？
• RQ4 现有结构学习算法如Chow-Liu在该噪声模型下是否仍具有鲁棒性，或会灾难性地失效？
• RQ5 在该噪声模型下，可靠估计等价类所需的最小样本复杂度是多少？

主要发现

• 在未知、不等、独立符号翻转噪声下学习树状结构伊辛模型的问题在一般情况下不可识别，但不可识别性被限制在较小的树等价类中。
• 该等价类由所有通过置换叶节点及其直接邻居形成的树构成，意味着仅局部重排存在歧义。
• 所提算法以高概率成功恢复该等价类，且仅需节点数的对数样本复杂度。
• 该算法实现多项式时间复杂度，使其在大规模网络中具备可扩展性和实用性。
• 实证结果表明，标准方法如Chow-Liu和Sparsitron在该噪声模型下无法恢复正确结构，而所提方法能正确识别等价类。
• 样本复杂度界为 $ m = \mathcal{O}(\delta^{-2} \log(n^2 / \tau)) $，表明在节点数的对数级别样本下即可实现可靠恢复。