[论文解读] Training Group Orthogonal Neural Networks with Privileged Information

Yunpeng Chen, Xiaojie Jin+2 more|arXiv (Cornell University)|Jan 24, 2017

Advanced Neural Network Applications参考文献 14被引用 10

一句话总结

本文提出组正交卷积神经网络（GoCNN），在训练过程中利用特权分割标注以增强深度CNN的特征多样性与泛化能力。通过在前景和背景区域分组的卷积滤波器之间强制正交性，GoCNN学习到更具解耦性和诊断性的表征，在仅使用10%训练图像提供分割标注的情况下，相较于ResNet-152在ImageNet上实现了1.2%的绝对top-1准确率提升。

ABSTRACT

Learning rich and diverse representations is critical for the performance of deep convolutional neural networks (CNNs). In this paper, we consider how to use privileged information to promote inherent diversity of a single CNN model such that the model can learn better representations and offer stronger generalization ability. To this end, we propose a novel group orthogonal convolutional neural network (GoCNN) that learns untangled representations within each layer by exploiting provided privileged information and enhances representation diversity effectively. We take image classification as an example where image segmentation annotations are used as privileged information during the training process. Experiments on two benchmark datasets -- ImageNet and PASCAL VOC -- clearly demonstrate the strong generalization ability of our proposed GoCNN model. On the ImageNet dataset, GoCNN improves the performance of state-of-the-art ResNet-152 model by absolute value of 1.2% while only uses privileged information of 10% of the training images, confirming effectiveness of GoCNN on utilizing available privileged knowledge to train better CNNs.

研究动机与目标

• 为解决在训练过程中提升深度CNN内在特征多样性缺乏系统方法的问题。
• 探究是否可利用特权信息（特别是图像分割标注）显式促进单一CNN模型中的特征多样性。
• 研究背景特征与更丰富的标注是否能提升深度学习中的物体识别性能。
• 提出一种新型架构，通过组间正交性学习解耦的前景与背景表征。

提出的方法

• 提出GoCNN，一种深度CNN架构，利用分割标注作为特权信息，将卷积滤波器按前景和背景区域分组。
• 在不同组产生的特征图之间强制正交性，以减少冗余并提升表征多样性。
• 引入抑制损失，鼓励前景与背景学习到不同的特征，最小化各组输出之间的相关性。
• 使用标准交叉熵损失结合组正交性正则化，端到端训练模型。
• 仅在训练阶段使用分割标注，推理阶段无需，支持与标准模型兼容的部署。
• 将该框架应用于标准CNN（如ResNet），用GoCNN模块替换标准卷积层。

实验结果

研究问题

• RQ1 特权分割标注能否被有效用于提升单一深度CNN的特征多样性？
• RQ2 学习解耦的前景与背景表征是否能提升图像分类的泛化能力？
• RQ3 背景信息在深度学习模型中是否对物体识别有帮助？
• RQ4 更丰富的标注（如实例分割）是否能显著提升分类网络的训练效果？

主要发现

• 当仅使用10%的训练图像提供分割标注时，GoCNN在ImageNet上相比ResNet-152将top-1准确率提升了1.2%。
• 在ImageNet-0.1m子集上，GoCNN在80%特权信息覆盖下达到48.6%的top-1准确率，显示出随着标注覆盖率增加而单调提升的性能。
• 在完整ImageNet上使用10%特权信息时，GoCNN将top-1错误率从ResNet-152的23.0%降低至21.8%。
• 该模型即使在未见过的测试图像上也能学习到具有诊断性的前景与背景特征，展现出鲁棒性与解耦性。
• 实验结果证实，背景特征对物体识别有实质性贡献，挑战了背景无关性的传统假设。
• 本研究首次提供了证据，表明当作为特权信息使用时，分割标注可显著提升分类性能。