[论文解读] Sparse Activity and Sparse Connectivity in Supervised Learning

Markus Thom, Günther Palm|arXiv (Cornell University)|Mar 28, 2016

Machine Learning and ELM参考文献 79被引用 38

一句话总结

该论文提出了一种监督学习模型，通过基于Hoyer归一化稀疏度度量的可微稀疏度投影算子，同时强制实现稀疏激活和稀疏连接。通过支持基于梯度优化的端到端训练，该方法在MNIST分类任务中取得了改进性能，联合稀疏性相比非稀疏基线模型带来了显著提升。

ABSTRACT

Sparseness is a useful regularizer for learning in a wide range of applications, in particular in neural networks. This paper proposes a model targeted at classification tasks, where sparse activity and sparse connectivity are used to enhance classification capabilities. The tool for achieving this is a sparseness-enforcing projection operator which finds the closest vector with a pre-defined sparseness for any given vector. In the theoretical part of this paper, a comprehensive theory for such a projection is developed. In conclusion, it is shown that the projection is differentiable almost everywhere and can thus be implemented as a smooth neuronal transfer function. The entire model can hence be tuned end-to-end using gradient-based methods. Experiments on the MNIST database of handwritten digits show that classification performance can be boosted by sparse activity or sparse connectivity. With a combination of both, performance can be significantly better compared to classical non-sparse approaches.

研究动机与目标

• 开发一种可微稀疏度投影算子，用于在神经网络激活和权重中强制实现预设的稀疏度水平。
• 将稀疏激活与稀疏连接整合到统一的监督学习框架中，以提升分类性能。
• 为稀疏度投影提供数学上严谨的理论基础，弥补先前算法的不足。
• 通过基于梯度的优化方法，实现带有稀疏性约束的模型端到端训练。

提出的方法

• 核心方法采用一种稀疏度强制投影算子，可找到与给定输入最接近且具有预定义Hoyer稀疏度值的向量。
• 该投影被表述为L1和L2范数约束下的约束优化问题，以确保达到目标稀疏度水平。
• 证明该投影算子几乎处处可微，使其可作为反向传播中的平滑激活函数使用。
• 模型将该投影集成到两阶段架构中：一个带有稀疏自编码器约束的重建模块，以及一个带有交叉熵损失的分类头。
• 使用标准反向传播计算梯度，同时提供了相似度度量和稀疏度投影的显式导数推导。
• 整体损失为重建误差与分类误差的凸组合，支持稀疏性与预测性能的联合优化。

实验结果

研究问题

• RQ1 能否构建一种可微稀疏度投影算子，以在神经网络激活和权重中强制实现期望的稀疏度水平？
• RQ2 在监督学习中，稀疏激活与稀疏连接的整合如何影响分类性能？
• RQ3 所提出的稀疏度投影算子是否与端到端基于梯度的训练兼容？
• RQ4 稀疏激活与稀疏连接对分类准确率提升的相对贡献分别是什么？
• RQ5 两种稀疏性类型联合使用是否能带来超越单一稀疏性类型的性能增益？

主要发现

• 所提出的稀疏度投影算子几乎处处可微，使其可作为深度学习模型中平滑且可训练的组件使用。
• 在MNIST数据集上的实验表明，仅引入稀疏激活即可在性能上超越非稀疏基线模型。
• 仅稀疏连接也带来了性能增益，表明结构稀疏性有助于学习过程。
• 稀疏激活与稀疏连接的结合显著优于单独使用任一类型，分类准确率大幅提升。
• 显式推导了Hoyer稀疏度度量的梯度，支持其在优化框架中的应用。
• 该模型在保持较少活跃神经元和连接数的同时实现了性能提升，展现出效率与泛化优势。