[论文解读] ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction

Kwan Ho Ryan Chan, Yaodong Yu+4 more|arXiv (Cornell University)|May 21, 2021

Domain Adaptation and Few-Shot Learning参考文献 146被引用 54

一句话总结

ReduNet 通过最大化编码率约减目标来导出一个白盒深度网络，呈现逐层构造的网络，具有可解释的算子和在平移/不变性下的卷积形式，通过初步实验得到验证。

ABSTRACT

This work attempts to provide a plausible theoretical framework that aims to interpret modern deep (convolutional) networks from the principles of data compression and discriminative representation. We argue that for high-dimensional multi-class data, the optimal linear discriminative representation maximizes the coding rate difference between the whole dataset and the average of all the subsets. We show that the basic iterative gradient ascent scheme for optimizing the rate reduction objective naturally leads to a multi-layer deep network, named ReduNet, which shares common characteristics of modern deep networks. The deep layered architectures, linear and nonlinear operators, and even parameters of the network are all explicitly constructed layer-by-layer via forward propagation, although they are amenable to fine-tuning via back propagation. All components of so-obtained "white-box" network have precise optimization, statistical, and geometric interpretation. Moreover, all linear operators of the so-derived network naturally become multi-channel convolutions when we enforce classification to be rigorously shift-invariant. The derivation in the invariant setting suggests a trade-off between sparsity and invariance, and also indicates that such a deep convolution network is significantly more efficient to construct and learn in the spectral domain. Our preliminary simulations and experiments clearly verify the effectiveness of both the rate reduction objective and the associated ReduNet. All code and data are available at \url{https://github.com/Ma-Lab-Berkeley}.

研究动机与目标

• 基于数据压缩和速率约减，为判别表示学习提供一个原理性目标。
• 证明速率约减目标导致一个具体现代分层网络设计（ReduNet），具有明确的优化和几何解释。
• 证明在平移不变性下，网络组件会变为多通道卷积，并分析稀疏性-不变性之间的权衡。
• 提供一个前向构造的白盒替代端到端反向传播的方案，便于分析和验证。

提出的方法

• 将最大编码率约减（MCR2）目标定义为整个数据集的编码率与各类别子集的编码率之和的差。
• 推导出自然展开为深层网络结构（ReduNet）的梯度上升动力学，具层级化构造。
• 证明在强制平移/不变性时，ReduNet 中的线性算子变为多通道卷积。
• 在不变速率约减设置中建立稀疏性和不变性之间的权衡，并讨论谱域计算。
• 提出网络层的前向传播构造，具有显式优化解释，可与反向传播结合用于微调。

实验结果

研究问题

• RQ1 在高维多类别数据中，哪一个原理性的目标最能捕捉到判别表示的结构？
• RQ2 是否可以从优化目标中有建设性地导出一个深度网络结构，而非凭启发式设计？
• RQ3 速率约减如何引导线性和非线性算子的设计，多通道卷积的作用是什么？
• RQ4 在速率约减表示中，不变性与稀疏性之间的权衡是什么，如何高效计算？
• RQ5 所得的 ReduNet 组件是否提供可解释且可验证的优化保证？

主要发现

• 速率约减目标通过最大化整个数据集与类别子集之间的编码率差，推动类内紧凑性和类别间判别。
• 速率约减的梯度上升方案产生一个多层网络（ReduNet），其组成部分具有精确的优化、统计和几何含义。
• 在平移/不变性约束下，ReduNet 的线性算子成为多通道卷积，从而实现高效的谱域计算。
• 在不变速率约减设置中存在根本的稀疏性-不变性权衡，这为平移/旋转不变性网络设计提供指南。
• 初步实验验证了速率约减目标和 ReduNet 架构的有效性，相关代码和数据公开可用。