[论文解读] Revisiting complexity and the bias-variance tradeoff.

Raaz Dwivedi, Chandan Singh+2 more|arXiv (Cornell University)|Jun 17, 2020

Sparse and Compressive Sensing Techniques参考文献 60被引用 9

一句话总结

本文通過基於MDL原理的新型複雜度度量（MDL-COMP）重新探討高維模型中的偏差-方差權衡，適用於嶺回歸模型。該度量在高維下呈現 log d 的增長趨勢，慢於 d/n，為高維模型（如深度神經網絡）的良好泛化性能提供了理論解釋。

ABSTRACT

The recent success of high-dimensional models, such as deep neural networks (DNNs), has led many to question the validity of the bias-variance tradeoff principle in high dimensions. We reexamine it with respect to two key choices: the model class and the complexity measure. We argue that failing to suitably specify either one can falsely suggest that the tradeoff does not hold. This observation motivates us to seek a valid complexity measure, defined with respect to a reasonably good class of models. Building on Rissanen's principle of minimum description length (MDL), we propose a novel MDL-based complexity (MDL-COMP). We focus on the context of linear models, which have been recently used as a stylized tractable approximation to DNNs in high-dimensions. MDL-COMP is defined via an optimality criterion over the encodings induced by a good Ridge estimator class. We derive closed-form expressions for MDL-COMP and show that for a dataset with $n$ observations and $d$ parameters it is \emph{not always} equal to $d/n$, and is a function of the singular values of the design matrix and the signal-to-noise ratio. For random Gaussian design, we find that while MDL-COMP scales linearly with $d$ in low-dimensions ($d n$) the scaling is exponentially smaller, scaling as $\log d$. We hope that such a slow growth of complexity in high-dimensions can help shed light on the good generalization performance of several well-tuned high-dimensional models. Moreover, via an array of simulations and real-data experiments, we show that a data-driven Prac-MDL-COMP can inform hyper-parameter tuning for ridge regression in limited data settings, sometimes improving upon cross-validation.

研究动机与目标

• 透過針對良好選擇的模型類別重新定義模型複雜度，重新表達高維模型中的偏差-方差權衡。
• 解決因不恰當的複雜度度量而導致的誤解，即偏差-方差權衡在高維下會失效。
• 利用最小描述長度（MDL）原理，為線性模型開發一種有原則且數據驅動的複雜度度量。
• 證明 MDL-COMP 不總是等於 d/n，且其取決於設計矩陣的特徵值與信噪比。
• 展示 MDL-COMP 可在資料有限的情境下指導超參數調節，並在某些情況下優於交叉驗證。

提出的方法

• 根據 Rissanen 的 MDL 原理，透過嶺估計器類所引發的編碼優化標準定義 MDL-COMP。
• 推導出 MDL-COMP 的封閉表達式，其取決於設計矩陣的特徵值與信噪比。
• 在隨機高斯設計下分析 MDL-COMP，顯示其在低維時隨 d 線性增長，但在高維時呈現 log d 的增長。
• 提出一種數據驅動的變體——Prac-MDL-COMP，用於嶺回歸中的實際超參數調節。
• 透過模擬與真實資料實驗，驗證方法在低資料情境下比較 Prac-MDL-COMP 與交叉驗證的表現。

实验结果

研究问题

• RQ1 當使用恰當定義的複雜度度量時，偏差-方差權衡在高維模型中是否仍然成立？
• RQ2 基於 MDL 原理推導出的複雜度度量，能否更準確地描述高維線性模型中的模型複雜度？
• RQ3 在隨機高斯設計下，MDL-COMP 如何隨維度 d 變化？其是否與傳統的 d/n 度量不同？
• RQ4 在資料有限的情境下，Prac-MDL-COMP 是否能改善嶺回歸中的超參數調節，並優於交叉驗證？
• RQ5 設計矩陣的特徵值與信噪比在決定 MDL-COMP 時扮演何種角色？

主要发现

• MDL-COMP 不總是等於 d/n，其取決於設計矩陣的特徵值與信噪比。
• 對於隨機高斯設計，MDL-COMP 在低維時隨 d 線性增長，但在高維時增長為 log d。
• 高維下 log d 的緩慢增長，可能為調優良好的高維模型（如深度神經網絡）具有優異泛化性能提供解釋。
• Prac-MDL-COMP 是 MDL-COMP 的數據驅動版本，在資料有限時能改善嶺回歸的超參數調節，有時優於交叉驗證。
• 所提出的複雜度度量為高維線性建模中提供了有原則的替代方案，以取代啟發式或漸近的複雜度定義。