[论文解读] Spatial Language Representation with Multi-Level Geocoding

Sayali Kulkarni, Shailee Jain+4 more|arXiv (Cornell University)|Aug 21, 2020

Geographic Information Systems Studies参考文献 39被引用 12

一句话总结

本文提出多级地理编码（MLG），一种神经模型，通过分层S2空间填充曲线表示，将文本地名映射到地理坐标。通过联合优化S2多个层级（L5–L7）的预测，MLG在无需依赖地名词典元数据的情况下实现了地名解析的最先进性能，展现出在全局和本地分布中的强大泛化能力，尤其在低资源环境下表现优异。

ABSTRACT

We present a multi-level geocoding model (MLG) that learns to associate texts to geographic locations. The Earth's surface is represented using space-filling curves that decompose the sphere into a hierarchy of similarly sized, non-overlapping cells. MLG balances generalization and accuracy by combining losses across multiple levels and predicting cells at each level simultaneously. Without using any dataset-specific tuning, we show that MLG obtains state-of-the-art results for toponym resolution on three English datasets. Furthermore, it obtains large gains without any knowledge base metadata, demonstrating that it can effectively learn the connection between text spans and coordinates - and thus can be extended to toponymns not present in knowledge bases.

研究动机与目标

• 开发一种神经地理编码模型，将文本片段映射到地理坐标，无需依赖外部知识库或地名词典元数据。
• 通过联合预测S2空间网格的多个分层级别，提升地名解析的泛化能力和准确性。
• 通过学习直接的文本到坐标表示，实现对非标准或未登录地名的地理编码。
• 在社交媒体和历史文献等文本领域中评估模型性能，这些领域中元数据可能缺失。
• 证明多级预测在泛化与精度之间达到的平衡优于单级方法。

提出的方法

• 使用S2几何对地球表面进行离散化，S2是一种分层空间填充曲线，将球体划分为多个层级（L4至L8）的非重叠、大小相近的单元。
• MLG使用单一神经模型联合预测多个层级（如L5、L6、L7）的S2单元ID，并采用多级损失函数，以平衡泛化与精度。
• 通过神经网络（如BERT类编码器）编码文本上下文，模型同时预测所有选定S2层级的类别概率。
• 通过在多个层级上使用交叉熵损失进行端到端训练，实现从粗粒度到细粒度单元的知识迁移。
• 推理过程中不使用任何外部地名词典特征或元数据，完全依赖学习到的文本到位置表示。
• S2的分层结构天然支持空间包含与邻近关系的建模，有助于在稀疏区域提升定位性能。

实验结果

研究问题

• RQ1 神经模型能否在不依赖外部地名词典或元数据的情况下，直接学习将文本地名映射到地理坐标？
• RQ2 与单级方法相比，S2单元层级上的多级预测在地理编码中如何提升泛化能力和准确性？
• RQ3 在无地名词典条目存在的低资源或未登录词设置下，模型在多大程度上能解析地名？
• RQ4 上下文在多大程度上影响模型对名称相似的位置（如Arlington、Lincoln）的消歧能力？
• RQ5 当元数据缺失时，模型在社交媒体和历史文献等多样化文本领域中是否表现出更好的泛化能力？

主要发现

• MLG在三个英文地名解析数据集上实现了最先进性能，且无需任何数据集特定调优或地名词典元数据。
• 当移除地名词典元数据后，MLG在平均性能上仍比强基线模型高出9%，证明其具备强大的泛化能力。
• 模型在使用L5至L7层级时表现最佳，实现了泛化与精度的最佳平衡，L8相比L7仅带来微小增益。
• 消融实验表明，若上下文中所有地名均被屏蔽，性能显著下降；但仅使用上下文（不含目标地名）仍能实现合理的定位，表明模型具备上下文推理能力。
• 定性案例证实，上下文能有效将预测结果引导至正确地理区域，即使对于Arlington和Lincoln等模糊名称，也不会偏向人口最多的位置。
• 模型在跨领域上泛化良好，包括全球性（GeoVirus）和美国聚焦型（LGL）数据集，表明其具备强大的跨领域迁移能力。