[论文解读] Understanding Boolean Function Learnability on Deep Neural Networks.

Anderson Rocha Tavares, Pedro H. C. Avelar+4 more|arXiv (Cornell University)|Sep 13, 2020

Machine Learning and Algorithms参考文献 50被引用 4

一句话总结

本文研究了深度神经网络如何从组合优化问题、模型采样基准和随机3-CNF公式中学习布尔函数。研究发现，小型浅层网络能有效近似这些函数，其中约束不足的3-CNF公式比约束过强的更难学习，而更小的公式由于正样本更少，也更具挑战性。

ABSTRACT

Computational learning theory states that many classes of boolean formulas are learnable in polynomial time. This paper addresses the understudied subject of how, in practice, such formulas can be learned by deep neural networks. Specifically, we analyse boolean formulas associated with the decision version of combinatorial optimisation problems, model sampling benchmarks, and random 3-CNFs with varying degrees of constrainedness. Our extensive experiments indicate that: (i) regardless of the combinatorial optimisation problem, relatively small and shallow neural networks are very good approximators of the associated formulas; (ii) smaller formulas seem harder to learn, possibly due to the fewer positive (satisfying) examples available; and (iii) interestingly, underconstrained 3-CNF formulas are more challenging to learn than overconstrained ones. Source code and relevant datasets are publicly available (this https URL).

研究动机与目标

• 研究使用深度神经网络从组合优化问题中实际学习布尔函数的可行性。
• 分析公式大小和约束程度对神经网络学习性能的影响。
• 评估小型浅层网络在近似源自现实世界和合成基准的布尔公式方面的有效性。
• 理解为何某些布尔公式——尤其是更小或约束不足的3-CNF公式——更难学习。

提出的方法

• 在源自组合优化问题决策版本的标记布尔公式实例上训练小型浅层前馈神经网络。
• 使用具有不同约束程度的模型采样基准和随机3-CNF公式的数据集。
• 通过在满足和不满足赋值的测试集上使用标准分类指标评估泛化性能。
• 系统性地改变公式大小和约束程度，以评估其对学习准确率和收敛性的影响。
• 在所有实验中采用固定的网络架构，以隔离输入公式特征的影响。

实验结果

研究问题

• RQ1 小型浅层神经网络能否有效近似来自组合优化问题的布尔函数？
• RQ2 布尔公式的大小如何影响其被深度神经网络学习的难易程度？
• RQ3 随机3-CNF公式中的约束程度是否会影响相关布尔函数学习的难度？
• RQ4 为何约束不足的3-CNF公式比约束过强的更难学习？

主要发现

• 小型浅层神经网络在组合优化问题的布尔公式上实现了出色的近似性能。
• 更小的布尔公式更难学习，可能是因为训练数据中正样本（满足赋值）更少。
• 约束不足的3-CNF公式比约束过强的更难学习，这与直观预期相反。
• 神经网络的泛化性能显著受训练数据中满足赋值分布的影响。