[论文解读] Retouchdown: Adding Touchdown to StreetLearn as a Shareable Resource for Language Grounding Tasks in Street View

Harsh Mehta, Yoav Artzi+3 more|arXiv (Cornell University)|Jan 10, 2020

Multimodal Machine Learning Applications参考文献 22被引用 20

一句话总结

本论文介绍了 Retouchdown，这是一个公开发布的、符合隐私合规要求的 StreetLearn 数据集扩展版本，整合了来自 Touchdown 导航与空间描述解析任务的 29,641 幅街景全景图。通过以与原始研究一致的性能重新实现这两项任务，作者证明了 StreetLearn 中模糊处理的全景图适用于真实城市环境中视觉-语言导航与空间定位的高保真研究。

ABSTRACT

The Touchdown dataset (Chen et al., 2019) provides instructions by human annotators for navigation through New York City streets and for resolving spatial descriptions at a given location. To enable the wider research community to work effectively with the Touchdown tasks, we are publicly releasing the 29k raw Street View panoramas needed for Touchdown. We follow the process used for the StreetLearn data release (Mirowski et al., 2019) to check panoramas for personally identifiable information and blur them as necessary. These have been added to the StreetLearn dataset and can be obtained via the same process as used previously for StreetLearn. We also provide a reference implementation for both of the Touchdown tasks: vision and language navigation (VLN) and spatial description resolution (SDR). We compare our model results to those given in Chen et al. (2019) and show that the panoramas we have added to StreetLearn fully support both Touchdown tasks and can be used effectively for further research and comparison.

研究动机与目标

• 在遵守 Google Street View 使用条款和隐私政策的前提下，使更广泛的科研群体能够访问 Touchdown 数据集。
• 在去除个人身份信息（PII）后，将 Touchdown 全景图整合至 StreetLearn 数据集，确保其长期可用性与可复现性。
• 验证隐私保护性模糊处理过程不会降低视觉-语言导航（VLN）与空间描述解析（SDR）任务的模型性能。
• 为视觉-语言导航（VLN）与空间描述解析（SDR）任务提供开源实现，确保研究社区内的一致性基准测试。
• 通过一个可扩展、经审核且可更新的数据集，支持未来在真实城市环境中对语言定位的研究。

提出的方法

• 作者从 Touchdown 数据集获取原始街景全景图，并应用隐私保护性模糊处理流程，以去除个人身份信息（PII），其处理方式与原始 StreetLearn 发布版本一致。
• 清理后的全景图被整合进现有的 StreetLearn 数据集，使其总规模从 114k 增加至 144k 幅全景图。
• 为视觉-语言导航（VLN）与空间描述解析（SDR）任务开发了参考实现：VLN 采用演员-学习者架构中的模仿学习方法，SDR 采用标准模型。
• 使用标准指标评估性能：任务完成率（TC）、最短路径距离（SPD）、加权编辑距离（SED）、归一化动态时间规整（nDTW）以及加权动态时间规整（SDTW）。
• 将本研究的重实现结果与原始 Touchdown 论文中的结果进行对比，验证模糊处理过程未对模型性能造成负面影响。
• 代码与数据通过 VALAN 框架发布，确保可复现性并支持社区访问。

实验结果

研究问题

• RQ1 能否在不影响视觉-语言任务性能的前提下，有效将来自 Touchdown 数据集的经隐私清理的街景全景图整合进 StreetLearn 数据集？
• RQ2 StreetLearn 中使用的 PII 模糊处理是否降低了模型在视觉-语言导航与空间描述解析任务上的性能？
• RQ3 使用重新发布的全景图对 Touchdown 任务进行重实现，能否达到与原始研究相当的性能水平？
• RQ4 将 Touchdown 整合进 StreetLearn 在多大程度上提升了真实城市环境中语言定位研究的潜力？
• RQ5 如何负责任地与科研社区共享大规模真实世界视觉数据集，同时尊重隐私与数据使用政策？

主要发现

• Retouchdown 对 LingUNet 模型的重实现达到了比原始 Touchdown 论文更高的任务完成率（TC）准确率，同时平均距离误差略有上升，表明模糊处理未造成性能下降。
• 对视觉-语言导航任务中 RConcat 模型的重实现结果在所有指标上均优于原始结果，包括 12.8% 的任务完成率与 1.4% 的 SDTW 得分，证明了所发布数据的可用性。
• 使用原始全景图特征进行的性能对比表明，与原始论文的差异并非源于模糊处理过程，验证了所发布数据的完整性。
• 将 Touchdown 全景图整合进 StreetLearn 后，数据集规模从 114k 增加至 144k 幅全景图，为城市导航任务的训练与评估提供了更强大、更多样化的支持。
• 通过 VALAN 框架发布的开源代码与数据确保了可复现性，并支持未来在语言定位与真实世界视觉导航方面的研究。
• 本研究证实，隐私保护性数据整理可在研究实用性之间实现良好平衡，支持计算机视觉与自然语言处理领域的大规模真实世界基准测试。