[论文解读] Provable learning of Noisy-or Networks

Sanjeev Arora, Rong Ge+2 more|arXiv (Cornell University)|Dec 28, 2016

Machine Learning and Algorithms参考文献 12被引用 5

一句话总结

本文提出了首个通过张量分解学习单层噪声或网络的可证明高效算法，克服了参数估计中系统性误差的挑战。该研究建立了样本复杂度边界，并表明在足够数据下，该方法能准确恢复网络参数，即使存在相关噪声，从而实现医疗诊断模型（如QMR-DT）的可扩展学习。

ABSTRACT

Many machine learning applications use latent variable models to explain structure in data, whereby visible variables (= coordinates of the given datapoint) are explained as a probabilistic function of some hidden variables. Finding parameters with the maximum likelihood is NP-hard even in very simple settings. In recent years, provably efficient algorithms were nevertheless developed for models with linear structures: topic models, mixture models, hidden markov models, etc. These algorithms use matrix or tensor decomposition, and make some reasonable assumptions about the parameters of the underlying model. But matrix or tensor decomposition seems of little use when the latent variable model has nonlinearities. The current paper shows how to make progress: tensor decomposition is applied for learning the single-layer {\em noisy or} network, which is a textbook example of a Bayes net, and used for example in the classic QMR-DT software for diagnosing which disease(s) a patient may have by observing the symptoms he/she exhibits. The technical novelty here, which should be useful in other settings in future, is analysis of tensor decomposition in presence of systematic error (i.e., where the noise/error is correlated with the signal, and doesn't decrease as number of samples goes to infinity). This requires rethinking all steps of tensor decomposition methods from the ground up. For simplicity our analysis is stated assuming that the network parameters were chosen from a probability distribution but the method seems more generally applicable.

研究动机与目标

• 通过为非线性潜在变量模型开发一个可证明高效的算法，弥合无监督学习中理论与实践之间的差距。
• 将张量分解方法从线性模型扩展至处理非线性，特别是针对噪声或网络。
• 解决张量分解中的系统性误差挑战，即噪声与信号相关，且不会随样本量增加而消失。
• 实现从患者症状数据中自动学习大规模医疗诊断网络（如QMR-DT）。
• 为噪声或网络提供样本复杂度和参数恢复精度的理论保证。

提出的方法

• 将张量分解应用于学习单层噪声或网络中的权重矩阵W，其中症状在给定疾病的情况下条件独立。
• 使用症状缺失的三重共现概率的经验估计值构建一个三维张量以进行分解。
• 采用PMI（点互信息）和PMIT（三重点互信息）从数据中估计高阶统计量，以减少采样误差。
• 应用Chernoff不等式控制成对和三重共现概率的估计误差，确保在足够样本下实现集中性。
• 利用Wedin定理和Weyl定理限制张量分解过程中奇异值和奇异向量的扰动，即使在系统性误差下也成立。
• 应用矩阵扰动理论限制恢复的权重矩阵中的误差，确保在弱假设下收敛至真实参数。

实验结果

研究问题

• RQ1 尽管存在系统性误差，张量分解能否应用于学习非线性潜在变量模型（如噪声或网络）？
• RQ2 使用经验张量方法在噪声或网络中实现准确参数估计，所需的样本复杂度是多少？
• RQ3 如何使张量分解对不会随样本量增加而减弱的关联噪声具有鲁棒性？
• RQ4 是否能够从数据中可证明地恢复噪声或网络中的权重矩阵W，即使底层模型是非线性的？
• RQ5 该方法能否扩展至大规模实际应用（如QMR-DT），其涉及数千种症状和疾病？

主要发现

• 当样本数量超过症状和疾病数量的多项式边界时，该方法以高概率准确恢复噪声或网络中的权重矩阵W。
• 样本复杂度对成对PMI估计为O(1/δ² log m)，对三重PMIT估计为O(1/δ² log m)，其中δ控制估计误差。
• 通过Wedin定理和Weyl定理的扰动边界，证明该算法对张量分解中的系统性误差具有鲁棒性。
• 经验PMI和PMIT估计值以高概率集中在真实值附近，确保张量构建的可靠性。
• 理论保证表明，即使在相关噪声下，随着样本量增加，恢复的参数仍会收敛至真实参数。
• 该方法实现了对大规模医疗诊断模型（如QMR-DT）的可证明学习，这些模型此前难以实现自动化学习。