[论文解读] PAC Quasi-automatizability of Resolution over Restricted Distributions

Brendan Juba|arXiv (Cornell University)|Apr 16, 2013

Machine Learning and Algorithms参考文献 28被引用 3

一句话总结

该论文表明，在受限分布上（特别是具有相关性间隙的分布，如推广学习奇偶性的仿射分布）采用PAC语义进行推理时，解析证明搜索可在准多项式时间内近乎自动化。关键贡献是一种新颖算法，通过利用部分示例和宽度受限的子句学习，高效检测解析证明，从而克服经典设置中的已知下界限制。

ABSTRACT

We consider principled alternatives to unsupervised learning in data mining by situating the learning task in the context of the subsequent analysis task. Specifically, we consider a query-answering (hypothesis-testing) task: In the combined task, we decide whether an input query formula is satisfied over a background distribution by using input examples directly, rather than invoking a two-stage process in which (i) rules over the distribution are learned by an unsupervised learning algorithm and (ii) a reasoning algorithm decides whether or not the query formula follows from the learned rules. In a previous work (2013), we observed that the learning task could satisfy numerous desirable criteria in this combined context -- effectively matching what could be achieved by agnostic learning of CNFs from partial information -- that are not known to be achievable directly. In this work, we show that likewise, there are reasoning tasks that are achievable in such a combined context that are not known to be achievable directly (and indeed, have been seriously conjectured to be impossible, cf. (Alekhnovich and Razborov, 2008)). Namely, we test for a resolution proof of the query formula of a given size in quasipolynomial time (that is, "quasi-automatizing" resolution). The learning setting we consider is a partial-information, restricted-distribution setting that generalizes learning parities over the uniform distribution from partial information, another task that is known not to be achievable directly in various models (cf. (Ben-David and Dichterman, 1998) and (Michael, 2010)).

研究动机与目标

• 为解决在PAC语义下不完整数据推理的挑战，通过统一框架将学习与推理相结合。
• 探究当示例部分观测且来自受限分布时，解析证明搜索是否能被高效自动化。
• 克服解析自动化已知的困难，该困难在经典设置中被认为不可能实现。
• 将推理的可 tractability 范围从受限证明片段（如Horn子句）扩展到一般、有向无环图（DAG）型解析。
• 探索从不完整信息中学习是否能实现经典两阶段学习与推理模型下不可行的推理任务。

提出的方法

• 该算法在受限分布模型下运行，其中示例通过掩码过程 $ M_{\mu} $ 部分揭示，每个文字独立以概率 $ \mu $ 被揭示。
• 它使用宽度受限的子句学习策略，从部分示例中学习一个低宽度公式 $ \psi $，以近似真实底层公式。
• 该方法应用Hoeffding不等式，以有界概率检测学习公式中被否定的子句，从而确保高概率下的正确性。
• 它利用分布的相关性间隙特性，确保任何解析证明都存在一个低宽度近似版本，可通过部分示例检测到。
• 该算法通过验证学习公式中被否定的子句是否在部分示例中以足够频率被观测到，来检查解析证明的存在性。
• 它结合了PAC学习与证明复杂性技术，利用仿射分布的结构，实现高效证明检测。

实验结果

研究问题

• RQ1 当示例部分观测且来自受限分布时，解析证明搜索是否能在准多项式时间内实现准自动化？
• RQ2 底层分布中存在相关性间隙是否能即使在信息不完整的情况下，也实现解析证明的高效检测？
• RQ3 学习与推理的联合任务是否能超越经典两阶段方法（即先学习规则，再基于规则推理）？
• RQ4 在经典自动化被认为不可能的背景下，是否可能在PAC语义下实现一般解析的准自动化？
• RQ5 这些结果能否推广到更强的证明系统，如切割平面或带解析的多项式式微分？

主要发现

• 该算法在具有相关性间隙的分布上，于PAC语义下实现了对一般、DAG型解析的准自动化，时间复杂度为准多项式时间。
• 该方法通过在部分示例中验证学习公式中被否定子句的存在性，以高概率成功检测解析证明。
• 在目标公式中子句宽度有界的前提下，正确拒绝错误查询的概率至少为 $ 1 - \delta $。
• 该算法利用了宽度至多为 $ w $ 的每个子句以至少 $ \mu^w $ 的概率被完全揭示的事实，当 $ w = \Omega(\log n) $ 时，可实现以常数概率检测到被否定的子句。
• 结果可推广至任意宽度-$ w $ 文字集合以不可忽略概率被揭示的掩码过程，包括 $ w $-wise 独立分布。
• 本工作表明，在PAC语义下推理可能比经典设置更简单，因为它避开了已知的解析自动化下限。