[论文解读] QBDC: Query by dropout committee for training deep supervised architecture

Mélanie Ducoffe, Fŕed́eric Precioso|arXiv (Cornell University)|Nov 19, 2015

Algorithms and Data Compression参考文献 3被引用 10

一句话总结

该论文提出 QBDC，一种用于深度监督神经网络的基于查询委员会（query-by-committee）主动学习方法，通过小批量丢弃（batchwise dropout）模拟部分卷积神经网络（CNN）组成的委员会，实现高效、低成本的样本选择。在 MNIST 数据集上，QBDC 仅使用 30% 的训练数据即达到接近最先进水平的准确率，且对对抗样本的鲁棒性下降极少。

ABSTRACT

While the current trend is to increase the depth of neural networks to increase their performance, the size of their training database has to grow accordingly. We notice an emergence of tremendous databases, although providing labels to build a training set still remains a very expensive task. We tackle the problem of selecting the samples to be labelled in an online fashion. In this paper, we present an active learning strategy based on query by committee and dropout technique to train a Convolutional Neural Network (CNN). We derive a commmittee of partial CNNs resulting from batchwise dropout runs on the initial CNN. We evaluate our active learning strategy for CNN on MNIST benchmark, showing in particular that selecting less than 30 % from the annotated database is enough to get similar error rate as using the full training set on MNIST. We also studied the robustness of our method against adversarial examples.

研究动机与目标

• 通过减少需要标注的样本数量，降低深度学习大规模训练数据集的标注成本。
• 克服为基于查询委员会（QBC）策略训练完整神经网络委员会所带来的计算不可行性。
• 开发一种高效、可扩展的主动学习方法，专为深度卷积神经网络（CNN）设计，可在极少标注数据下保持高性能。
• 与在完整数据集上训练的模型相比，评估所选模型在对抗样本下的鲁棒性。
• 证明通过基于丢弃的轻量级近似方法，可将基于委员会的主动学习应用于深度架构。

提出的方法

• 训练一个完整的全连接 CNN，并在推理过程中使用小批量丢弃生成一组部分子网络组成的委员会。
• 利用丢弃正则化子网络之间的分歧来估计不确定性，并选择最具信息量的样本进行标注。
• 采用批量主动学习策略，即在每次迭代中由委员会选择一批新样本进行标注。
• 在选定的样本子集上重新训练完整的 CNN，通过迭代方式在较少标注样本下提升性能。
• 使用快速梯度符号法（FGSM）生成对抗样本，并评估 QBDC 训练模型的鲁棒性。
• 通过测试误差率和对抗样本检测等标准指标，将 QBDC 性能与随机采样和全数据集训练进行对比。

实验结果

研究问题

• RQ1 尽管训练多个完整网络的计算成本高昂，基于查询委员会的策略是否能有效适配深度神经网络？
• RQ2 当 QBDC 仅在 MNIST 数据集的少量数据上训练时，其测试准确率表现如何，与全量训练相比？
• RQ3 基于丢弃的委员会分歧的主动学习策略是否比随机采样带来更优的样本选择效果？
• RQ4 QBDC 训练的模型在面对对抗样本时，其鲁棒性与全数据集训练模型相比如何？
• RQ5 通过 QBDC 减少训练集大小在多大程度上影响模型的泛化能力及对输入扰动的敏感性？

主要发现

• QBDC 在仅使用 30% 训练数据的情况下，MNIST 上的平均测试误差率为 1.10%，接近在完整数据集上训练的模型性能。
• QBDC 的最佳误差率为 0.99%，表明在显著减少标注工作量的情况下仍可保持高准确率。
• 使用丢弃的 QBDC 表现略差（平均误差 1.53%），低于无丢弃的 QBDC，表明在此特定设置下丢弃可能无益处。
• QBDC 训练的模型对对抗样本的敏感性略高，在 ε=0.1 时检测到的对抗样本比全数据集模型多 4%。
• 尽管对对抗样本更敏感，QBDC 模型仍保持了强大的泛化性能，表明减少训练集并未严重损害模型稳定性。
• 该方法在扩展至更复杂数据集（如 CIFAR-10）以及与半监督或归一化技术结合方面展现出潜力。