[论文解读] Multi-Scale Representation Learning for Spatial Feature Distributions using Grid Cells

Gengchen Mai, Krzysztof Janowicz+4 more|arXiv (Cornell University)|Feb 15, 2020

Advanced Image and Video Retrieval Techniques参考文献 34被引用 35

一句话总结

Space2Vec 提出了一种多尺度网格单元启发的编码器，用于联合表示地理点的绝对位置和空间上下文，相较单尺度方法提升了 POI 类型预测和地理定位图像分类。

ABSTRACT

Unsupervised text encoding models have recently fueled substantial progress in NLP. The key idea is to use neural networks to convert words in texts to vector space representations based on word positions in a sentence and their contexts, which are suitable for end-to-end training of downstream tasks. We see a strikingly similar situation in spatial analysis, which focuses on incorporating both absolute positions and spatial contexts of geographic objects such as POIs into models. A general-purpose representation model for space is valuable for a multitude of tasks. However, no such general model exists to date beyond simply applying discretization or feed-forward nets to coordinates, and little effort has been put into jointly modeling distributions with vastly different characteristics, which commonly emerges from GIS data. Meanwhile, Nobel Prize-winning Neuroscience research shows that grid cells in mammals provide a multi-scale periodic representation that functions as a metric for location encoding and is critical for recognizing places and for path-integration. Therefore, we propose a representation learning model called Space2Vec to encode the absolute positions and spatial relationships of places. We conduct experiments on two real-world geographic data for two different tasks: 1) predicting types of POIs given their positions and context, 2) image classification leveraging their geo-locations. Results show that because of its multi-scale representations, Space2Vec outperforms well-established ML approaches such as RBF kernels, multi-layer feed-forward nets, and tile embedding approaches for location modeling and image classification tasks. Detailed analysis shows that all baselines can at most well handle distribution at one scale but show poor performances in other scales. In contrast, Space2Vec's multi-scale representation can handle distributions at different scales.

研究动机与目标

• 激发对一种通用的多尺度空间表示的需求，该表示能够处理异质的地理分布。
• 提出 Space2Vec，一种使用多尺度正弦位置编码、受到网格单元启发的编码器–解码器框架。
• 实现无监督训练来学习空间中点特征的分布式表征。
• 证明 Space2Vec 在 POI 类型分类和地理定位图像任务上优于 RBF、tile 和直接坐标编码器。
• 提供关于多尺度编码如何在各尺度上捕捉空间结构的定性洞见。

提出的方法

• 使用跨越 64 个尺度的多尺度正弦编码对绝对位置进行编码（Space2Vec 理论与网格启发编码）。
• 使用双分支编码器：Enc^(x) 用于位置，Enc^(v) 用于点特征；将它们连接成 e[v] 和 e[x]。
• 两个解码器：Dec_s 通过位置嵌入重构点特征，Dec_c 通过附近上下文点的嵌入并借助多头注意力机制来重构中心点的特征。
• 在 Dec_c 中，使用位移编码对距离/方向进行条件化，并通过置换不变聚合（类似 PointNet）对邻近点计算注意力。
• 通过在候选点中最大化真实中心点特征嵌入的对数似然来进行无监督训练，可选的负采样。

实验结果

研究问题

• RQ1 一种多尺度、网格单元启发的编码是否能够同时捕捉 GIS 数据中的聚集分布与均匀分布？
• RQ2 与传统编码（RBF、tile、wrap）和直接坐标输入相比，Space2Vec 是否提升了定位感知的 POI 类型预测和地理定位图像分类？
• RQ3 多尺度编码如何在不同的 POI 分布组（聚集、中等、均匀）和空间尺度上影响模型行为？
• RQ4 在各尺度上学习到的位置嵌入和上下文交互中，出现了哪些定性模式？

主要发现

• Space2Vec 采用多尺度网格式编码在 POI 类型预测和图像分类任务上优于基线编码器（RBF、tile、wrap 以及直接坐标输入）。
• 单尺度编码器难以处理在尺度上变化的分布，而 Space2Vec 能在多尺度之间有效整合信息。
• Space2Vec 的基于网格的注意力的空间上下文建模在使用上下文点时提升了预测，在测试集中超过了非网格的专用基线。
• 定性分析表明 Space2Vec 学习到类似发射模式的表征，能够在不同尺度捕捉空间结构，并通过多尺度编码反映距离效应的递减。
• 该方法利用一个编码器–解码器结构，其中位置编码器和基于多头注意力的上下文解码器共同建模绝对位置和空间关系。