[论文解读] Unnatural Language Processing: Bridging the Gap Between Synthetic and Natural Language Data

Alana Marzoev, Samuel Madden+3 more|arXiv (Cornell University)|Apr 28, 2020

Topic Modeling参考文献 28被引用 19

一句话总结

该论文提出了一种用于自然语言处理的仿真到真实（sim-to-real）迁移框架，通过基于规则的语法生成的合成语言数据进行模型训练，并利用预训练的句子嵌入将真实语句投影到合成语言空间中，从而实现对自然语言的泛化。该方法在语义解析和指令遵循任务上达到了最先进性能，且无需任何自然语言训练数据，在某些情况下甚至优于经过人工标注数据微调的模型。

ABSTRACT

Large, human-annotated datasets are central to the development of natural language processing models. Collecting these datasets can be the most challenging part of the development process. We address this problem by introducing a general purpose technique for ``simulation-to-real'' transfer in language understanding problems with a delimited set of target behaviors, making it possible to develop models that can interpret natural utterances without natural training data. We begin with a synthetic data generation procedure, and train a model that can accurately interpret utterances produced by the data generator. To generalize to natural utterances, we automatically find projections of natural language utterances onto the support of the synthetic language, using learned sentence embeddings to define a distance metric. With only synthetic training data, our approach matches or outperforms state-of-the-art models trained on natural language data in several domains. These results suggest that simulation-to-real transfer is a practical framework for developing NLP applications, and that improved models for transfer might provide wide-ranging improvements in downstream tasks.

研究动机与目标

• 解决为NLP应用收集大规模人工标注自然语言数据所面临的高昂成本和困难。
• 实现在语言理解任务中，从合成语言数据到真实世界自然语言语句的有效泛化。
• 开发一种实用且可扩展的端到端训练替代方案，避免对大量人工标注的依赖，同时保持高性能。
• 证明基于投影的迁移方法（使用预训练句子嵌入）在合成到真实NLP迁移中优于直接表示迁移。
• 为在新领域中构建基于语境的语言理解系统提供可复用的框架，且标注工作量极小。

提出的方法

• 使用高精度、基于规则的语法生成合成训练数据，将目标行为（如动作、查询）映射为自然流畅的语句。
• 在该合成数据上训练模型，使其能够准确理解定义语言分布内的语句。
• 利用预训练的句子嵌入（如BERT）学习自然语句与合成语句之间的语义保持距离度量。
• 在推理阶段，将每个自然语句投影到嵌入空间中最近的合成语句，以保持语义含义。
• 然后由已训练的模型解释该投影后的合成语句，从而实现对真实世界语言的泛化。
• 在语义解析和指令遵循基准上评估该框架，并通过消融研究验证投影机制的有效性。

实验结果

研究问题

• RQ1 仅在合成语言数据上训练的模型能否达到与在大规模自然语言数据集上训练的模型相当的性能？
• RQ2 基于句子嵌入的投影在将知识从合成语言分布迁移到自然语言分布方面有多有效？
• RQ3 使用预训练表示在合成空间中寻找同义句，是否优于在端到端模型中直接迁移表示？
• RQ4 结合语法工程生成的合成数据与基于嵌入的投影，能否显著减少在基于语境的语言理解中对人工标注数据的需求？
• RQ5 在仿真到真实NLP迁移中，数据分布偏移对模型泛化能力有何影响？

主要发现

• 在八个语义解析数据集上，该仿真到真实方法在无任何自然训练数据的情况下，有三项任务的性能与监督语义解析器持平或更优。
• 在一个网格世界环境中的基于语境的指令遵循基准上，该方法性能超过了经过人工标注数据微调的标准模型。
• 利用句子嵌入将自然语句投影到合成语言空间，即使存在分布偏移，也能实现高精度的语义理解。
• 直接将预训练表示从合成数据迁移到自然数据的效果，不如利用嵌入在合成空间中寻找同义句的方法。
• 该框架使开发者仅通过合成数据和预训练即可在新领域构建高精度语言理解系统，显著降低了标注负担。
• 该方法表明，仿真到真实迁移是NLP中一种可行且高效的范式，尤其适用于数据稀缺或交互式应用场景。