[论文解读] $ N^4 $-Fields: Neural Network Nearest Neighbor Fields for Image Transforms

Yaroslav Ganin, Victor Lempitsky|arXiv (Cornell University)|Jun 25, 2014

Automated Road and Building Extraction参考文献 22被引用 4

一句话总结

本文提出 N⁴-Fields，一种新颖的深度学习架构，将卷积神经网络（CNN）与最近邻搜索相结合，以提升在自然边缘检测和细长物体分割等复杂图像处理任务中的性能。通过利用 CNN 学习到的特征检索语义相似的训练图像块并转移其标注，该方法在多个基准测试中实现了最先进（SOTA）性能，且超参数调优极少。

ABSTRACT

We propose a new architecture for difficult image processing operations, such as natural edge detection or thin object segmentation. The architecture is based on a simple combination of convolutional neural networks with the nearest neighbor search. We focus our attention on the situations when the desired image transformation is too hard for a neural network to learn explicitly. We show that in such situations, the use of the nearest neighbor search on top of the network output allows to improve the results considerably and to account for the underfitting effect during the neural network training. The approach is validated on three challenging benchmarks, where the performance of the proposed architecture matches or exceeds the state-of-the-art.

研究动机与目标

• 解决在难以显式学习的复杂图像变换中训练深度 CNN 所面临的困难，此类任务易出现欠拟合。
• 在边缘检测与细长物体分割任务中，超越单一 CNN 所能达到的性能极限。
• 开发一种通用且可迁移的框架，可在不同图像领域间泛化，且几乎无需重新训练或调参。
• 证明将 CNN 特征提取与非参数最近邻检索相结合，可提升准确率与鲁棒性。
• 在多个标准基准上验证该方法，以确立其通用性与对现有方法的优越性。

提出的方法

• 将输入图像划分为重叠的图像块，并将每个图像块通过预训练的 CNN 以提取高层特征。
• 将训练图像块的 CNN 激活向量存储在字典中，以实现高效的最近邻查找。
• 对于每个测试图像块，基于 CNN 特征空间中的 L2 距离，在字典中查找 k 个最近邻。
• 将最近邻训练图像块的真值标注（如边缘图或分割掩码）转移至测试图像块。
• 通过平均重叠图像块的结果，生成最终一致的输出图像变换。
• 在训练过程中使用主成分分析（PCA）压缩 CNN 特征，以降低内存与计算成本，同时保留判别能力。

实验结果

研究问题

• RQ1 将 CNN 特征提取与非参数最近邻检索相结合，是否能提升在复杂图像处理任务中的性能？
• RQ2 该混合方法是否能缓解 CNN 在学习自然边缘检测等困难变换时的欠拟合问题？
• RQ3 N⁴-Fields 在边缘检测与血管分割任务中的性能，与结构化随机森林等最先进方法相比如何？
• RQ4 该方法在无需重新训练的情况下，能在多大程度上在不同图像领域（如自然图像、RGBD 图像、视网膜显微图像）间实现迁移？
• RQ5 该方法对嵌入空间中特征表示与距离度量的选择有多敏感？

主要发现

• 在 Berkeley 分割数据集（BSDS500）上，N⁴-Fields 在自然边缘检测任务中达到最先进性能，与之前最先进方法持平或超越。
• 在 NYU RGBD 数据集上，该方法性能几乎与最先进结构化边缘检测器相当，尤其在低匹配阈值下表现优异。
• 在 DRIVE 数据集上的视网膜血管分割任务中，N⁴-Fields 与 Becker 等人 [29]（一种领先方法）性能相当，并显著优于 CNN 基线方法及 [20]。
• 该方法在域间泛化能力出色：使用相同的元超参数与 CNN 架构，在 RGB、RGBD 与视网膜显微图像数据上均实现了最先进结果。
• 使用 PCA 压缩的 CNN 特征至关重要——若使用 SIFT 特征作为基线最近邻检索，性能表现极差，表明学习到的特征对成功至关重要。
• 尽管速度慢于结构化随机森林，但 N⁴-Fields 无需领域特定调优，因此在新成像模态中具有极高的可适应性。