[论文解读] Neural Networks and Polynomial Regression. Demystifying the Overparametrization Phenomena

Matt Emschwiller, David Gamarnik+2 more|arXiv (Cornell University)|Mar 23, 2020

Tensor decomposition and applications参考文献 24被引用 7

一句话总结

本文通過證明當樣本量超過僅依賴於資料維度與期望準確度的門檻值時，任何插值訓練資料的模型都能實現良好泛化，從而提出了一種過參數化神經網絡泛化現象的新解釋，此門檻值與網路寬度無關。關鍵洞見在於，教師與學生網路皆可被低次多項式（張量）回歸模型近似，揭示泛化性能取決於回歸係數的複雜度，而非隱藏單元數量。

ABSTRACT

In the context of neural network models, overparametrization refers to the phenomena whereby these models appear to generalize well on the unseen data, even though the number of parameters significantly exceeds the sample sizes, and the model perfectly fits the in-training data. A conventional explanation of this phenomena is based on self-regularization properties of algorithms used to train the data. In this paper we prove a series of results which provide a somewhat diverging explanation. Adopting a teacher/student model where the teacher network is used to generate the predictions and student network is trained on the observed labeled data, and then tested on out-of-sample data, we show that any student network interpolating the data generated by a teacher network generalizes well, provided that the sample size is at least an explicit quantity controlled by data dimension and approximation guarantee alone, regardless of the number of internal nodes of either teacher or student network. Our claim is based on approximating both teacher and student networks by polynomial (tensor) regression models with degree depending on the desired accuracy and network depth only. Such a parametrization notably does not depend on the number of internal nodes. Thus a message implied by our results is that parametrizing wide neural networks by the number of hidden nodes is misleading, and a more fitting measure of parametrization complexity is the number of regression coefficients associated with tensorized data. In particular, this somewhat reconciles the generalization ability of neural networks with more classical statistical notions of data complexity and generalization bounds. Our empirical results on MNIST and Fashion-MNIST datasets indeed confirm that tensorized regression achieves a good out-of-sample performance, even when the degree of the tensor is at most two.

研究动机与目标

• 挑戰過參數化神經網絡泛化現象中盛行的自我正則化解釋。
• 確立插值神經網絡的泛化性能不取決於模型寬度，而取決於資料維度與近似準確度。
• 證明多項式（張量）回歸比隱藏單元數量更能精確衡量模型複雜度。
• 透過張量化回歸，將神經網絡泛化與經典統計泛化界理論相調和。
• 實證驗證低次張量化回歸在 MNIST 與 Fashion-MNIST 上實現優異的樣本外性能。

提出的方法

• 採用教師/學生架構，其中教師生成標籤，學生則被訓練以插值這些標籤。
• 僅依賴於網路深度與期望準確度，使用多項式回歸模型（次數依賴於深度與準確度）近似教師與學生網路。
• 證明張量化模型中的回歸係數數量——而非隱藏神經元數量——決定了泛化性能。
• 透過分析多項式回歸設定下設計矩陣的條件數，建立泛化界。
• 使用正交多項式展開與矩陣分解技術，控制回歸設計的穩定性與可逆性。
• 證明當樣本量超過僅依賴於資料維度與目標誤差的門檻值時，任何插值學生網路以高機率實現有界泛化誤差。

实验结果

研究问题

• RQ1 過參數化神經網絡的泛化是否可不依賴於演算法自我正則化機制來解釋？
• RQ2 參數數量（如隱藏單元數）是否真正決定泛化性能？是否存在更根本的複雜度度量？
• RQ3 多項式（張量）回歸模型能否以足夠精確的方式近似神經網絡，從而解釋其泛化行為？
• RQ4 任何插值神經網絡要實現良好泛化，所需的最小樣本量是多少？此值是否與模型寬度無關？
• RQ5 低次張量化回歸是否在真實世界資料集（如 MNIST 與 Fashion-MNIST）上實現優異的樣本外性能？

主要发现

• 任何插值訓練資料的學生網路，只要樣本量超過 $ N^* = d^{O\big((L/\nu)^L\big)} $，即能實現良好泛化，其中 $ d $ 為資料維度，$ L $ 為網路深度，$ \nu $ 控制目標泛化誤差。
• 對於 ReLU 網路，所需樣本量的增長為 $ d^{O\big((L/\nu)^L\big)} $，而對於 Sigmoid 網路則為 $ d^{O\big(\text{polylog}(L/\nu)\big)} $，顯示在資料效率上存在顯著差異。
• 泛化誤差始終被 $ \nu $ 有界，與教師或學生網路的隱藏單元數量無關，表明寬度並非泛化的驅動因素。
• 實證結果確認，度數不超過二的張量化回歸在 MNIST 與 Fashion-MNIST 上實現了強勁的樣本外性能，支持理論主張。
• 學生網路輸出權重的 $ \ell_1 $-範數被有界為 $ d^{\beta} \|a^*\nolimits_{\ell_1}\| $，其中某個 $ \beta > 0 $，顯示模型複雜度受資料維度控制，而非寬度。
• 以高機率 $ 1 - \exp(-cN^{1/3}) $，學生網路的權重範數相對於教師網路保持有界，確保了泛化性能。