[论文解读] The Description Length of Deep Learning Models

Léonard Blier, Yann Ollivier|arXiv (Cornell University)|Feb 20, 2018

Topic Modeling被引用 39

一句话总结

该论文表明，深度神经网络即使在考虑模型参数编码成本的情况下，也能实现强大的数据压缩，这与大参数量会阻碍压缩的预期相矛盾。通过预序编码（prequential coding）——在训练过程中进行增量编码——其压缩边界显著优于专为该目的设计的变分推断方法，揭示了尽管变分方法在理论上与最小描述长度（MDL）原则一致，但其在实际中存在关键的低效性。

ABSTRACT

Solomonoff's general theory of inference and the Minimum Description Length principle formalize Occam's razor, and hold that a good model of data is a model that is good at losslessly compressing the data, including the cost of describing the model itself. Deep neural networks might seem to go against this principle given the large number of parameters to be encoded. We demonstrate experimentally the ability of deep neural networks to compress the training data even when accounting for parameter encoding. The compression viewpoint originally motivated the use of variational methods in neural networks. Unexpectedly, we found that these variational methods provide surprisingly poor compression bounds, despite being explicitly built to minimize such bounds. This might explain the relatively poor practical performance of variational methods in deep learning. On the other hand, simple incremental encoding methods yield excellent compression values on deep networks, vindicating Solomonoff's approach.

研究动机与目标

• 评估在考虑模型描述长度时，深度学习模型是否真正实现数据压缩，挑战关于参数量是压缩障碍的假设。
• 探究为何变分推断方法——专为最小化描述长度而设计——在深度网络中实际表现不佳。
• 比较不同压缩估计技术（变分、两部分码、贝叶斯、预序编码）在深度学习模型上的实际码长性能。
• 利用信息论原理阐明模型泛化能力、压缩效率与预测性能之间的关系。
• 通过增量编码方案为深度网络提供实用且紧致的压缩边界，其与测试准确率具有更好的相关性。

提出的方法

• 采用最小描述长度（MDL）原则，通过测量数据与模型参数的总码长来衡量，将模型选择视为数据压缩问题。
• 使用预序编码：按顺序使用当前模型状态对每个训练样本进行编码，从而自然地将泛化能力融入压缩性能。
• 在MNIST和CIFAR数据集上，使用标准深度学习架构，比较变分推断（权重后验近似）、两部分码和贝叶斯边缘化方法的码长。
• 将变分目标作为真实贝叶斯码长的上界进行测量，分析近似后验与真实后验之间的KL散度差距。
• 在训练过程中应用标准深度学习实践（如dropout、早停）以确保正则化和真实模型行为。
• 通过在真实标签和随机（虚假）标签上实证评估码长，检验模型是否真正压缩信息，还是仅记忆数据。

实验结果

研究问题

• RQ1 当包含模型描述成本时，尽管参数量庞大，深度神经网络是否仍能实现有效数据压缩？
• RQ2 为何变分推断方法——明确设计用于最小化描述长度——在深度网络中实际压缩性能如此之差？
• RQ3 在深度学习模型上，不同压缩估计技术（预序编码、变分推断、两部分码、贝叶斯）在实际码长性能上如何比较？
• RQ4 压缩效率在多大程度上与深度学习模型的泛化性能和测试准确率相关？
• RQ5 变分方法的失败是由于优化不佳、后验近似差，还是贝叶斯框架在深度学习中固有的局限性所致？

主要发现

• 预序编码实现的压缩边界显著优于变分推断，MNIST和CIFAR数据集上的码长可低一个数量级。
• 尽管明确设计用于最小化描述长度，变分推断仍表现出较差的压缩性能，表明深度学习中理论与实践之间存在根本性错配。
• 在随机标签上训练的模型无法压缩数据，码长趋近于均匀编码，证实未学习到任何信息。
• 预序码与测试集性能高度相关，表明良好的压缩是泛化能力的可靠代理。
• 变分码长与真实贝叶斯码长之间的差距较大，即使在最优变分参数下，也表明近似后验对真实后验的近似效果很差。
• 结果验证了Solomonoff的MDL原理：深度网络确实能有效压缩数据，当使用合适的编码方式时，参数数量并不会从根本上阻碍压缩。