[论文解读] What do We Learn by Semantic Scene Understanding for Remote Sensing imagery in CNN framework?

Haifeng Li, Jian Peng+3 more|arXiv (Cornell University)|May 19, 2017

Advanced Image and Video Retrieval Techniques参考文献 1被引用 5

一句话总结

本文研究了深度卷积神经网络（DCNNs）在遥感图像中学习语义场景表征的方式，揭示出复杂场景理解依赖于更深层的网络结构和多尺度特征感知。研究证明，多个对象的联合语义支持显著提升了识别性能，挑战了仅靠以对象为中心的DCNN机制即可实现遥感场景理解的假设。

ABSTRACT

Recently, deep convolutional neural network (DCNN) achieved increasingly remarkable success and rapidly developed in the field of natural image recognition. Compared with the natural image, the scale of remote sensing image is larger and the scene and the object it represents are more macroscopic. This study inquires whether remote sensing scene and natural scene recognitions differ and raises the following questions: What are the key factors in remote sensing scene recognition? Is the DCNN recognition mechanism centered on object recognition still applicable to the scenarios of remote sensing scene understanding? We performed several experiments to explore the influence of the DCNN structure and the scale of remote sensing scene understanding from the perspective of scene complexity. Our experiment shows that understanding a complex scene depends on an in-depth network and multiple-scale perception. Using a visualization method, we qualitatively and quantitatively analyze the recognition mechanism in a complex remote sensing scene and demonstrate the importance of multi-objective joint semantic support.

研究动机与目标

• 探究在自然图像上训练的深度学习模型是否能泛化到遥感场景理解任务。
• 识别影响遥感场景识别的关键因素，特别是尺度与场景复杂度。
• 评估以对象为中心的DCNN识别机制在宏观、大尺度遥感场景中是否依然有效。
• 通过可视化技术分析DCNN在复杂遥感场景中的识别机制。
• 确定多对象联合语义支持在提升场景分类性能中的作用。

提出的方法

• 在遥感数据集上使用多种DCNN架构进行实验，评估不同深度和感受野大小下的性能表现。
• 采用多尺度特征提取策略，分析空间上下文对场景理解的影响。
• 应用可视化技术（如激活图与特征归因）定性与定量地分析模型学习到的表征。
• 通过定性与定量分析，评估多个对象的特征如何共同促进场景级分类。
• 比较不同深度与感受野大小的模型在识别性能上的差异，以评估网络深度与尺度感知的影响。
• 通过分析复杂场景中多个对象之间的特征交互，评估联合语义支持的重要性。

实验结果

研究问题

• RQ1 遥感图像中的场景复杂度与尺度如何影响基于DCNN的场景识别？
• RQ2 DCNN的以对象为中心的识别机制在多大程度上适用于遥感场景理解？
• RQ3 多尺度感知在提升复杂遥感场景理解方面发挥何种作用？
• RQ4 多个对象如何共同促进遥感中的语义场景理解？
• RQ5 通过可视化技术，能获得关于DCNN在复杂遥感场景中内部识别机制的哪些洞见？

主要发现

• 更深层的DCNN架构显著提升了在复杂遥感场景中的性能，表明深度特征学习至关重要。
• 多尺度感知对于理解大尺度、宏观场景至关重要，因为它使模型能够捕捉局部与全局上下文信息。
• 多个对象的联合语义支持显著提升了场景分类的准确性，表明场景理解依赖于关系特征而非孤立对象。
• 可视化结果表明，深层的特征图更具判别性且空间上更一致，支持分层表征的重要性。
• 遥感场景的识别机制与自然图像识别不同，其更依赖于上下文和关系特征，而非单个对象检测。
• 仅依赖对象级特征的模型在复杂场景中表现欠佳，证实遥感中整体场景理解的必要性。