[论文解读] Understanding Generalization in Deep Learning via Tensor Methods

Jingling Li, Yanchao Sun+3 more|arXiv (Cornell University)|Jan 14, 2020

Tensor decomposition and applications参考文献 52被引用 10

一句话总结

本文通过张量分解方法研究深度学习中的泛化问题，特别分析了通过低秩近似进行压缩对模型性能的影响。结果表明，基于张量的方法（如CT和CT+CPL）在极高压缩比下仍能保持超过92%的测试准确率，表明通过张量分解实现的结构化参数共享可通过保留关键表征能力来增强泛化能力。

ABSTRACT

Deep neural networks generalize well on unseen data though the number of parameters often far exceeds the number of training examples. Recently proposed complexity measures have provided insights to understanding the generalizability in neural networks from perspectives of PAC-Bayes, robustness, overparametrization, compression and so on. In this work, we advance the understanding of the relations between the network's architecture and its generalizability from the compression perspective. Using tensor analysis, we propose a series of intuitive, data-dependent and easily-measurable properties that tightly characterize the compressibility and generalizability of neural networks; thus, in practice, our generalization bound outperforms the previous compression-based ones, especially for neural networks using tensors as their weight kernels (e.g. CNNs). Moreover, these intuitive measurements provide further insights into designing neural network architectures with properties favorable for better/guaranteed generalizability. Our experimental results demonstrate that through the proposed measurable properties, our generalization error bound matches the trend of the test error well. Our theoretical analysis further provides justifications for the empirical success and limitations of some widely-used tensor-based compression approaches. We also discover the improvements to the compressibility and robustness of current neural networks when incorporating tensor operations via our proposed layer-wise structure.

研究动机与目标

• 理解深度神经网络中泛化机制背后的原理。
• 研究张量分解方法在模型压缩下对泛化的影响。
• 评估基于张量的压缩技术（CT、CT+CPL）在不同压缩比下的测试准确率表现。
• 比较张量方法与标准剪枝法及低秩近似在保持泛化能力方面的鲁棒性。

提出的方法

• 作者对训练好的神经网络应用张量列车（TT）分解，通过低秩近似减少参数量。
• 提出一种新型压缩策略，结合张量压缩（CT）与微调步骤（CPL），以保持性能。
• 通过测量从16.5%到93.5%的多种压缩比下的测试准确率，评估泛化能力。
• 在相同的训练与评估协议下，对比标准微调、仅CT和CT+CPL方法。
• 基于基准数据集进行实证评估，于多个压缩水平测量准确率。
• 使用轴对齐图可视化结果，展示压缩比下准确率的变化趋势。

实验结果

研究问题

• RQ1 基于张量分解的压缩如何影响深度神经网络的测试准确率？
• RQ2 通过张量方法实现的结构化参数共享是否能在高比例压缩下保持泛化能力？
• RQ3 增加微调步骤（CPL）相比标准张量压缩（CT）如何提升性能？
• RQ4 在低秩张量近似中，模型压缩与泛化性能之间的权衡是什么？
• RQ5 张量基方法与标准剪枝或低秩方法相比，在保持测试准确率方面表现如何？

主要发现

• CT+CPL方法在93.5%的压缩比下仍能保持超过92%的测试准确率，表明在极高压缩下仍具有强大的泛化能力。
• 在45%压缩比下，CT+CPL达到92.23%的测试准确率，优于仅CT的91.94%，显示出微调步骤的增益。
• 仅CT方法在所有压缩水平下均保持约91.94%的准确率，表明性能稳定但未达最优。
• 基线方法（无张量压缩）在16.5%压缩比下达到92.13%的准确率，作为性能参考基准。
• 结果表明，通过张量分解实现的结构化参数共享可通过保留关键表征能力来增强泛化能力。
• 性能趋势表明，基于张量的方法在实现压缩时路径更稳定、更具鲁棒性，且准确率下降不明显。