[论文解读] SampleAhead: Online Classifier-Sampler Communication for Learning from Synthesized Data

Qi Chen, Weichao Qiu+3 more|arXiv (Cornell University)|Apr 1, 2018

Advanced Image and Video Retrieval Techniques参考文献 33被引用 7

一句话总结

本文提出SampleAhead，一种在视觉学习中对合成数据进行在线自适应采样的方法，通过基于验证集上分类器性能迭代更新采样器分布来实现。通过动态重加权聚焦于难样本，该方法在训练数据有限时实现了更高的准确率，尤其在使用ShapeNet渲染图像进行PASCAL3D+上的物体位姿估计任务中表现更优。

ABSTRACT

State-of-the-art techniques of artificial intelligence, in particular deep learning, are mostly data-driven. However, collecting and manually labeling a large scale dataset is both difficult and expensive. A promising alternative is to introduce synthesized training data, so that the dataset size can be significantly enlarged with little human labor. But, this raises an important problem in active vision: given an {\bf infinite} data space, how to effectively sample a {\bf finite} subset to train a visual classifier? This paper presents an approach for learning from synthesized data effectively. The motivation is straightforward -- increasing the probability of seeing difficult training data. We introduce a module named {\bf SampleAhead} to formulate the learning process into an online communication between a {\em classifier} and a {\em sampler}, and update them iteratively. In each round, we adjust the sampling distribution according to the classification results, and train the classifier using the data sampled from the updated distribution. Experiments are performed by introducing synthesized images rendered from ShapeNet models to assist PASCAL3D+ classification. Our approach enjoys higher classification accuracy, especially in the scenario of a limited number of training samples. This demonstrates its efficiency in exploring the infinite data space.

研究动机与目标

• 为解决在视觉学习中从无限的合成训练数据空间中高效采样的挑战。
• 通过提高采样难分类样本的概率而非均匀采样简单样本，来提升分类器性能。
• 开发一种分类器与采样器之间的通信机制，实现数据采样与模型训练的迭代在线优化。
• 在传统均匀采样表现不佳的低数据量场景下，验证该方法的有效性。
• 实现对大规模、无限的合成数据空间的高效探索，适用于3D物体位姿估计等视觉任务。

提出的方法

• SampleAhead引入一个双组件系统：一个具有可学习权重θ的分类器，以及一个在视角参数（如方位角和仰角）上具有可学习分布P(·)的采样器。
• 在每次迭代中，采样器的分布P(·)根据在独立验证集上观察到的分类错误进行更新，优先选择更难分类的数据空间区域。
• 更新后的分布P(·)用于采样新的训练数据批次，随后用于重新训练分类器，形成在线迭代循环。
• 为提高效率，数据空间被划分为有限的“桶”（例如按视角区间划分），采样分两个阶段进行：首先根据P(·)选择一个桶，然后在桶内均匀采样。
• 该方法受AdaBoost启发，通过调整采样分布来增加难样本的有效权重，而非直接修改损失权重。
• 该框架在PASCAL3D+上进行评估，使用来自ShapeNet的合成图像，性能通过视角估计的准确率（Accπ/6）和中位数误差（MedErr）进行衡量。

实验结果

研究问题

• RQ1 如何有效从无限的合成数据空间中采样，以最大化分类器性能？
• RQ2 与均匀采样相比，由分类器驱动的动态采样能否提升识别准确率？
• RQ3 聚焦于难样本是否能带来更好的性能表现，尤其是在训练数据有限的情况下？
• RQ4 所提出的在线分类器-采样器通信机制与基线均匀采样相比，在准确率和鲁棒性方面表现如何？
• RQ5 在哪些场景下——特别是低数据量场景下——自适应采样最具优势？

主要发现

• 在PASCAL3D+上，SampleAhead在视角估计任务中实现了0.84的平均准确率，排除表格类后略优于基线（0.84）。
• 排除表格类后，SampleAhead的平均Accπ/6为0.86，而基线为0.84，表明在其余11个类别上实现了可测量的性能提升。
• 中位数估计误差（MedErr）相比基线降低了15.7%，表明在位姿估计中具有显著更好的泛化能力和鲁棒性。
• 该方法在低数据量场景下优势更加明显，即额外训练样本数量有限时，证实其在数据受限环境中的高效性。
• 表格类在SampleAhead中的表现劣于基线，因为该方法放弃了基线所利用的‘作弊’优势——即通过记忆对称类的数据分布来提升性能。
• 两级桶机制实现了高效的计算和在无限数据空间中的可扩展采样，使该方法在大规模视觉任务中具有实际可行性。