[论文解读] Sample Complexity Bounds for Recurrent Neural Networks with Application to Combinatorial Graph Problems

Nil-Jana Akpinar, Bernhard Kratzwald+1 more|arXiv (Cornell University)|Jan 29, 2019

Machine Learning and Algorithms参考文献 45被引用 5

一句话总结

本文建立了针对实值循环神经网络（RNNs）的首个理论样本复杂度边界，表明一个具有 $ a $ 个 ReLU 单元和输入长度 $ b $ 的单层 RNN 需要 $ \tilde{\mathcal{O}}(a^4b/\varepsilon^2) $ 个样本，以实现 $ \varepsilon $ 的总体预测误差。将该边界应用于组合图问题（如 NP 难的边团覆盖数问题）时，其复杂度呈多项式增长，为 $ \tilde{\mathcal{O}}(n^6/\varepsilon^2) $，表明 RNN 既具有理论基础，又能与启发式求解器相媲美。

ABSTRACT

Learning to predict solutions to real-valued combinatorial graph problems promises efficient approximations. As demonstrated based on the NP-hard edge clique cover number, recurrent neural networks (RNNs) are particularly suited for this task and can even outperform state-of-the-art heuristics. However, the theoretical framework for estimating real-valued RNNs is understood only poorly. As our primary contribution, this is the first work that upper bounds the sample complexity for learning real-valued RNNs. While such derivations have been made earlier for feed-forward and convolutional neural networks, our work presents the first such attempt for recurrent neural networks. Given a single-layer RNN with $a$ rectified linear units and input of length $b$, we show that a population prediction error of $\varepsilon$ can be realized with at most $ ilde{\mathcal{O}}(a^4b/\varepsilon^2)$ samples. We further derive comparable results for multi-layer RNNs. Accordingly, a size-adaptive RNN fed with graphs of at most $n$ vertices can be learned in $ ilde{\mathcal{O}}(n^6/\varepsilon^2)$, i.e., with only a polynomial number of samples. For combinatorial graph problems, this provides a theoretical foundation that renders RNNs competitive.

研究动机与目标

• 为填补对实值循环神经网络（RNNs）泛化能力和样本复杂度理解的理论空白，尽管其在实践中被广泛应用，但其理论基础仍不清晰。
• 推导出在控制预测误差下学习 RNN 所需训练样本数量的显式上界，尤其针对实值输出。
• 通过将其应用于组合图问题（如 NP 难的边团覆盖数问题），证明这些边界的实际相关性。
• 通过在图基预测任务中对近似性能和噪声鲁棒性的数值实验，验证理论发现。

提出的方法

• 利用针对具有 ReLU 激活函数的 RNN 递归结构量身定制的 Rademacher 复杂度和覆盖数论证，推导出泛化边界。
• 分析具有 $ a $ 个循环单元和输入序列长度为 $ b $ 的单层 RNN，推导出样本复杂度为 $ \tilde{\mathcal{O}}(a^4b/\varepsilon^2) $。
• 将分析扩展至具有 $ d $ 层的深层 RNN，得出边界为 $ \tilde{\mathcal{O}}(d^2 a_{\text{max}}^4 b / \varepsilon^2) $，其中 $ a_{\text{max}} $ 为最宽层的宽度。
• 将边界应用于处理最多 $ n $ 个顶点的图的自适应大小 RNN，得出样本复杂度为 $ \tilde{\mathcal{O}}(n^6 / \varepsilon^2) $。
• 通过在边团覆盖数问题上的数值实验，评估在不同训练集大小和噪声水平下的泛化性能。
• 在受控扰动和不同图类型下，将 RNN 预测结果与基线启发式方法（如 Kellerman 启发式）和多数投票基线进行比较。

实验结果

研究问题

• RQ1 学习实值循环神经网络（尤其是具有 ReLU 激活函数的）的样本复杂度是多少？
• RQ2 RNN 的样本复杂度如何随网络深度、宽度和输入序列长度变化？
• RQ3 能否推导并应用理论样本复杂度边界至组合图问题（如边团覆盖数）？
• RQ4 在预测准确性和对噪声标签的鲁棒性方面，RNN 的性能与最先进启发式方法相比如何？

主要发现

• 具有 $ a $ 个 ReLU 单元和输入长度 $ b $ 的单层 RNN 的样本复杂度被限制在 $ \tilde{\mathcal{O}}(a^4b/\varepsilon^2) $，可确保总体预测误差为 $ \varepsilon $。
• 对于具有 $ d $ 层和最大宽度 $ a_{\text{max}} $ 的深层 RNN，样本复杂度被限制在 $ \tilde{\mathcal{O}}(d^2 a_{\text{max}}^4 b / \varepsilon^2) $。
• 当应用于大小为 $ n $ 的图时，自适应大小 RNN 的样本复杂度呈 $ \tilde{\mathcal{O}}(n^6 / \varepsilon^2) $ 的增长，表明尽管底层问题是 NP 难的，其复杂度仍为多项式增长。
• 数值实验表明，RNN 在足够训练数据下可优于 Kellerman 启发式和多数投票基线。
• 即使标签中存在高达 10% 的相对噪声，RNN 仍保持良好性能，且深层网络（两层）优于单层模型。
• 仅需 4,000 个训练样本即可实现令人满意的预测性能，远低于理论上的上界建议。