[论文解读] Needles in Haystacks: On Classifying Tiny Objects in Large Images

Nick Pawlowski, Suvrat Bhooshan+4 more|arXiv (Cornell University)|Aug 16, 2019

AI in cancer detection参考文献 37被引用 8

一句话总结

本文通过引入基于合成MNIST和基于组织病理学的测试数据集，研究了卷积神经网络（CNNs）在大型图像中分类微小目标时的性能表现——这在医学成像和高光谱成像中很常见。研究发现，当目标与图像的比例（O2I）低于某一临界值时，泛化能力会急剧下降，但更深的模型和充足的训练数据可缓解此问题，且在极低信噪比场景下，最大池化在优化方面表现更优。

ABSTRACT

In some important computer vision domains, such as medical or hyperspectral imaging, we care about the classification of tiny objects in large images. However, most Convolutional Neural Networks (CNNs) for image classification were developed using biased datasets that contain large objects, in mostly central image positions. To assess whether classical CNN architectures work well for tiny object classification we build a comprehensive testbed containing two datasets: one derived from MNIST digits and one from histopathology images. This testbed allows controlled experiments to stress-test CNN architectures with a broad spectrum of signal-to-noise ratios. Our observations indicate that: (1) There exists a limit to signal-to-noise below which CNNs fail to generalize and that this limit is affected by dataset size - more data leading to better performances; however, the amount of training data required for the model to generalize scales rapidly with the inverse of the object-to-image ratio (2) in general, higher capacity models exhibit better generalization; (3) when knowing the approximate object sizes, adapting receptive field is beneficial; and (4) for very small signal-to-noise ratio the choice of global pooling operation affects optimization, whereas for relatively large signal-to-noise values, all tested global pooling operations exhibit similar performance.

研究动机与目标

• 研究标准CNN在分类大型图像中微小目标时的泛化极限，特别是在低信噪比（低O2I）情形下。
• 识别数据集规模、模型容量、感受野设计以及全局池化操作在低O2I条件下对模型性能的影响。
• 开发一个可复现的测试平台，用于在低信噪比图像分类场景下对CNN进行受控评估。
• 评估仅使用图像级标签时，通过显著性图进行弱监督目标定位是否可行。
• 确定在低O2I分类任务中实现可接受准确率的最小数据需求。

提出的方法

• 构建了两个合成数据集：一个基于MNIST数字，控制O2I比例（19.14%至0.30%），另一个基于组织病理学图像（CAMELYON17），实现近似O2I控制。
• 使用仅图像级标签（无像素级标注）在这些数据集上训练不同容量的基于ResNet的CNN（如ResNet-50）。
• 在不同O2I比例和数据集规模下，评估多种全局池化操作：最大池化、平均池化、logsumexp池化和软注意力池化。
• 使用基于梯度的显著性图评估弱监督目标定位性能，将激活最高的区域视为预测的目标位置。
• 通过使用真实目标边界框的平均精度（AP）量化检测性能。
• 系统性地改变训练集规模（从1,400到22,552个样本）和O2I比例，以研究数据效率和泛化极限。

实验结果

研究问题

• RQ1 在何种最低O2I比例以下，即使使用大规模训练集，标准CNN也无法实现泛化？
• RQ2 对于给定模型，随着O2I比例降低，达到可接受准确率所需的训练数据量如何变化？
• RQ3 增加模型容量是否能改善低O2I场景下的泛化性能？如果是，其作用机制是什么？
• RQ4 不同类型的全局池化操作在极低信噪比下如何影响优化和泛化？
• RQ5 仅通过图像级标签训练的模型生成的显著性图，能否以足够精度定位出微小目标，从而实现弱监督检测？

主要发现

• 存在一个临界O2I比例阈值，低于该阈值时，所有测试的CNN均无法实现超越随机性能的泛化，且该阈值依赖于数据集规模。
• 为实现泛化而所需的训练数据量随O2I比例的倒数迅速增加，表明微小目标分类面临强烈的数据效率挑战。
• 更高容量的模型在低O2I场景下表现出更好的泛化能力，可能归因于其建模复杂噪声结构和提取判别性特征的能力。
• 调整感受野以匹配预期目标尺寸可提升性能，证实了在低信噪比场景下归纳偏置的重要性。
• 在极低O2I比例下，最大池化相比其他池化操作能实现更快且更稳定的优化；而在较高O2I比例下，所有池化类型表现相近。
• 基于图像级标签训练的模型生成的显著性图能有效定位目标，平均精度随O2I比例降低而下降，但在中等O2I水平下仍能达到可用的检测性能。