[论文解读] Tile2Vec: Unsupervised representation learning for remote sensing data

Neal Jean, Sherrie Wang+3 more|arXiv (Cornell University)|May 8, 2018

Multimodal Machine Learning Applications被引用 7

一句话总结

Tile2Vec 是一种用于遥感图像的无监督表示学习方法，它将自然语言处理中的分布假设（distributional hypothesis）应用于地理空间数据，学习语义上有意义的图像块级嵌入。该方法在下游分类任务中达到最先进性能，并可通过潜在空间中的向量运算实现视觉类比。

ABSTRACT

Geospatial analysis lacks methods like the word vector representations and pre-trained networks that significantly boost performance across a wide range of natural language and computer vision tasks. To fill this gap, we introduce Tile2Vec, an unsupervised representation learning algorithm that extends the distributional hypothesis from natural language -- words appearing in similar contexts tend to have similar meanings -- to spatially distributed data. We demonstrate empirically that Tile2Vec learns semantically meaningful representations on three datasets. Our learned representations significantly improve performance in downstream classification tasks and, similar to word vectors, visual analogies can be obtained via simple arithmetic in the latent space.

研究动机与目标

• 解决地理空间分析中缺乏与自然语言处理中词向量相当的无监督表示学习方法的问题。
• 将分布假设——具有相似上下文的词具有相似含义——扩展至空间分布的遥感图像块。
• 从无标注的卫星图像中学习语义上有意义且可迁移的表示，无需人工标注数据。
• 证明所学表示可提升下游分类任务的性能。
• 通过学习到的潜在空间中的向量运算实现视觉类比，类似于自然语言处理中的词类比。

提出的方法

• Tile2Vec 采用受 SimCLR 启发的对比自监督学习框架，利用数据增强生成正样本对（同一图像块的不同增强）和负样本对（不同图像块）。
• 采用孪生神经网络架构，使用共享编码器将图像块映射到共享潜在空间。
• 模型使用对比损失函数，最大化正样本对（同一图像块的不同增强）的一致性，同时最小化负样本对（不同图像块）的一致性。
• 通过使用重叠块和数据增强策略（如随机裁剪、颜色抖动、旋转）来保持空间上下文信息。
• 最终表示由投影头输出获得，该输出作为下游任务的图像块嵌入。
• 该方法在大规模无标注遥感数据集上端到端训练，无需边界框或类别标签。

实验结果

研究问题

• RQ1 NLP 中的分布假设能否有效适应于遥感图像中学习有意义的表示？
• RQ2 所学的图像块嵌入是否捕捉到语义相关的空间模式与关系？
• RQ3 Tile2Vec 表示是否能在不使用标注数据进行微调的情况下，提升下游分类任务的性能？
• RQ4 所学表示是否支持类比推理（如视觉类比），通过向量运算实现？
• RQ5 Tile2Vec 嵌入在地理空间基准测试中与监督方法及其他自监督方法相比表现如何？

主要发现

• Tile2Vec 在三个不同类型的遥感数据集上学习到语义上有意义的表示，证明了其在不同区域和传感器类型间的泛化能力。
• 该模型在下游图像分类任务中实现显著性能提升，即使在仅使用少量标注数据微调时，也优于监督基线方法。
• 通过潜在空间中的简单向量运算可解决视觉类比（如 'forest → urban' 或 'coast → river'），证实了组合语义的存在。
• 所学表示对数据增强具有鲁棒性，并且在大规模无标注数据上训练时仍保持有意义的结构。
• Tile2Vec 在多个基准测试中达到最先进性能，表明无监督预训练在遥感领域极具有效性。
• 该方法在不同数据分布间具有良好泛化能力，表明所学表示具有强大的可迁移性。