[论文解读] Supervised Hashing with Deep Neural Networks

Ziming Zhang, Yuting Chen+1 more|arXiv (Cornell University)|Nov 14, 2015

Advanced Image and Video Retrieval Techniques参考文献 39被引用 4

一句话总结

该论文提出了一种名为非常深监督哈希（VDSH）的新颖训练算法，受ADMM启发，可实现对极深深度神经网络（最多64层）的监督哈希训练。通过利用辅助变量将训练过程分解为逐层局部更新，VDSH克服了梯度消失和计算瓶颈问题，在单张GPU上不到3小时内即在基准数据集上达到最先进性能。

ABSTRACT

In this paper, we propose training very deep neural networks (DNNs) for supervised learning of hash codes. Existing methods in this context train relatively shallow networks limited by the issues arising in back propagation (\eg vanishing gradients) as well as computational efficiency. We propose a novel and efficient training algorithm inspired by alternating direction method of multipliers (ADMM) that overcomes some of these limitations. Our method decomposes the training process into independent layer-wise local updates through auxiliary variables. Empirically we observe that our training algorithm always converges and its computational complexity is linearly proportional to the number of edges in the networks. Empirically we manage to train DNNs with 64 hidden layers and 1024 nodes per layer for supervised hashing in about 3 hours using a single GPU. Our proposed very deep supervised hashing (VDSH) method significantly outperforms the state-of-the-art on several benchmark datasets.

研究动机与目标

• 解决因梯度消失和计算效率低下导致浅层网络在监督哈希中性能受限的问题。
• 在不引发反向传播不稳定性的前提下，实现对非常深神经网络（64层及以上）的训练。
• 开发一种可扩展且高效的训练算法，在保持高精度的同时与网络规模呈线性可扩展性。
• 在实际训练时间范围内，利用深度架构在基准数据集上实现最先进性能。

提出的方法

• 该方法采用受ADMM启发的优化框架，通过辅助变量将深度网络训练分解为独立的、逐层的局部更新。
• 各层通过局部优化顺序更新，解耦全局反向传播过程，从而缓解梯度消失问题。
• 通过在原始目标函数与通过对偶变量强制执行的约束之间交替最小化，确保算法收敛。
• 计算复杂度与网络中的边数呈线性关系，从而实现对极深架构的高效训练。
• 该方法支持带有ReLU激活函数和哈希码预测的端到端深度网络训练，同时在层级别保持可微性。
• 该框架在单张GPU上实现，可在约3小时内完成64层、每层1024个神经元的网络训练。

实验结果

研究问题

• RQ1 基于ADMM的训练算法是否能有效训练极深神经网络进行监督哈希，而不会遭受梯度消失问题？
• RQ2 与标准反向传播相比，所提出的逐层局部更新策略是否能在深度网络中保持或提升哈希精度？
• RQ3 该方法在模型深度和宽度方面的计算可扩展性如何？能否高效训练64层网络？
• RQ4 所提出的VDSH方法在标准基准数据集上的性能与当前最先进监督哈希方法相比如何？

主要发现

• 所提出的VDSH方法成功训练了最多含64个隐层、每层1024个神经元的深度神经网络用于监督哈希。
• 使用单张GPU训练时间约为3小时，表现出极高的计算效率。
• 所有实验中该方法均保持稳定收敛，有效克服了深度反向传播中常见的不稳定性问题。
• 计算复杂度与网络中边的数量呈线性关系，从而可高效扩展至大规模架构。
• VDSH在多个基准数据集上达到最先进性能，显著优于现有方法。
• 通过辅助变量实现的逐层局部更新策略，有效缓解了极深网络中的梯度消失问题。