[论文解读] Robust Learning of Fixed-Structure Bayesian Networks

Yu Cheng, Ilias Diakonikolas+2 more|arXiv (Cornell University)|Jun 23, 2016

Bayesian Modeling and Causal Inference参考文献 29被引用 7

一句话总结

该论文提出了一种计算高效的鲁棒学习算法，适用于在 $\epsilon$-损坏采样模型下固定结构的离散贝叶斯网络，其中最多有 $\epsilon$ 的样本被对抗性地损坏。该算法实现了近乎最优的样本复杂度，运行时间多项式，且误差保证与 $\epsilon$ 几乎线性相关，与维度 $d$ 无关，使其成为首个具有维度无关误差边界的此类方法。

ABSTRACT

We investigate the problem of learning Bayesian networks in a robust model where an $ε$-fraction of the samples are adversarially corrupted. In this work, we study the fully observable discrete case where the structure of the network is given. Even in this basic setting, previous learning algorithms either run in exponential time or lose dimension-dependent factors in their error guarantees. We provide the first computationally efficient robust learning algorithm for this problem with dimension-independent error guarantees. Our algorithm has near-optimal sample complexity, runs in polynomial time, and achieves error that scales nearly-linearly with the fraction of adversarially corrupted samples. Finally, we show on both synthetic and semi-synthetic data that our algorithm performs well in practice.

研究动机与目标

• 解决当训练样本中恒定比例被对抗性损坏时学习贝叶斯网络的挑战，此情形会破坏标准学习算法。
• 开发一种计算高效的算法，即使在存在此类损坏时也能保持强误差保证，且不依赖于维度相关的误差边界。
• 在确保多项式时间运行的前提下，实现信息论上近乎最优的样本复杂度。
• 提供与网络维度 $d$ 无关的误差保证，且误差与损坏样本比例 $\epsilon$ 几乎线性相关。
• 通过在合成数据和半合成数据（包括 ALARM 网络）上的实验，展示算法的实际有效性。

提出的方法

• 该算法基于过滤和迭代精炼的鲁棒估计框架，用于识别并降低输入数据集中损坏样本的权重。
• 它应用了一种鲁棒均值估计技术的变体来处理条件概率表，利用贝叶斯网络的结构来隔离并纠正损坏的条件分布。
• 该方法依赖于一个关键假设：每个父节点配置具有最小概率，以确保在存在损坏的情况下仍具备足够的统计信号以实现可靠估计。
• 它采用基于采样的方法来估计真实分布与估计分布之间的总变差距离，并使用霍夫丁不等式获得置信区间。
• 该算法专为固定网络结构设计，专注于参数估计而非结构学习，并通过二值化网络的约化方法处理多值变量。
• 它将鲁棒统计与贝叶斯网络结构约束相结合，确保最终估计结果在给定DAG下仍为有效的贝叶斯网络。

实验结果

研究问题

• RQ1 我们能否设计一种多项式时间算法，用于学习在高达 $\epsilon$ 比例样本被对抗性损坏的固定结构贝叶斯网络？
• RQ2 在存在此类损坏的情况下，是否可能实现与维度 $d$ 无关的误差保证？
• RQ3 我们能否在保持对任意损坏（包括新增和删除样本）鲁棒性的同时，维持近乎最优的样本复杂度？
• RQ4 该算法的误差如何随损坏比例 $\epsilon$ 变化？能否使其几乎线性相关？
• RQ5 该算法在合成和真实世界贝叶斯网络结构上的实际表现如何？

主要发现

• 所提出的算法误差与损坏比例 $\epsilon$ 几乎线性相关，这是在对数因子范围内的最优结果。
• 它在多项式时间内运行，且样本复杂度在信息论上近乎最优，与目前已知的最佳非鲁棒边界相比仅相差对数因子。
• 误差保证与维度无关，意味着随着变量数 $d$ 增加，误差不会恶化。
• 在合成和半合成数据（包括含 61 个节点和 820 个参数的 ALARM 网络）上的实验表明，该算法在损坏条件下的鲁棒性和准确性优于基线方法。
• 当高达 $\epsilon = 0.1$ 的样本被损坏时，该算法仍能成功学习贝叶斯网络，使用 $10^6$ 个样本时，总变差距离估计的误差在 0.4% 以内。
• 该方法通过二值编码约化推广至多值贝叶斯网络，同时保持了鲁棒性和效率。