[论文解读] On the Learnability of Deep Random Networks

Abhimanyu Das, Sreenivas Gollapudi+2 more|arXiv (Cornell University)|Apr 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 21被引用 5

一句话总结

本文研究了具有随机权重和符号激活函数的深度随机神经网络的可学习性，理论证明了由于输入向量在各层中逐渐变得正交，可学习性随深度呈指数衰减。实验验证表明，即使使用最先进的训练方法，可学习性仍显著下降，表明在对数深度以上，学习深度随机架构存在根本性限制。

ABSTRACT

In this paper we study the learnability of deep random networks from both theoretical and practical points of view. On the theoretical front, we show that the learnability of random deep networks with sign activation drops exponentially with its depth. On the practical front, we find that the learnability drops sharply with depth even with the state-of-the-art training methods, suggesting that our stylized theoretical results are closer to reality.

研究动机与目标

• 理解深度随机神经网络中可学习性的理论极限，通过优化方法区分可表示性与实际可学习性。
• 分析深度如何影响随机深度网络中输入向量之间的相关性，特别是在线性激活函数下的表现。
• 证明深度为 ω(log n) 的随机深度网络无法被统计查询（SQ）算法高效学习，该类算法包括梯度下降法。
• 使用最先进的深度学习方法对不同深度的随机初始化深度网络进行实证评估，验证理论发现。
• 探讨此类深度随机网络是否表现出密码学硬度，可能类似于哈希函数。

提出的方法

• 理论分析建模了具有 i.i.d. 高斯权重和符号激活函数的深度随机网络中，输入对之间余弦相似度在各层中的演化过程。
• 证明表明，非共线输入对在逐层传播中逐渐相互排斥，角距离增大，几层之后即趋于正交。
• 分析使用随机非线性递推关系形式化了相关性的衰减，利用高斯随机变量和符号函数的性质。
• 在统计查询（SQ）模型中应用下界分析，表明深度超过 ω(log n) 的网络无法被 SQ 算法高效学习。
• 论文推导出深度为 ω(log n) 的随机网络输出具有 n^{1/4}-重独立性，为潜在的密码学硬度提供依据。
• 实证评估通过在随机初始化的深层教师网络输出上训练学生网络，使用标准深度学习技术测量学习性能。

实验结果

研究问题

• RQ1 具有符号激活函数的深度随机网络的可学习性是否随深度呈指数衰减？
• RQ2 能否通过随机递推分析，正式证明输入对之间相关性的理论衰减？
• RQ3 深度为 ω(log n) 的随机深度网络是否可被证明无法被统计查询算法学习？
• RQ4 实际训练方法在多大程度上无法学习深度随机网络，从而验证理论预测？
• RQ5 足够深度的随机深度网络是否表现出类似密码学哈希函数的特性，如高阶独立性？

主要发现

• 具有符号激活函数的深度随机网络的可学习性随深度呈指数衰减，原因是输入对在仅几层后即趋于正交。
• 理论分析证明，对于深度为 ω(log n) 的网络，任何统计查询算法（包括梯度下降和主成分分析）都无法高效学习。
• 实证实验表明，随着深度增加，学习性能急剧下降，即使使用最先进的训练方法，也验证了理论界限。
• 结果表明，深度为 ω(log n) 的随机网络输出具有 n^{1/4}-重独立性，为潜在的密码学硬度提供了证据。
• 论文建立了线性函数的匹配可学习性结果，与非线性随机深度网络的不可学习性形成对比。
• 理论与实证结果共同表明，即使在可表示的前提下，随机深度网络在对数深度以上也变得根本上难以学习。