[论文解读] PSSAT: A Perturbed Semantic Structure Awareness Transferring Method for Perturbation-Robust Slot Filling

Guanting Dong, Daichi Guo+11 more|arXiv (Cornell University)|Aug 24, 2022

Topic Modeling被引用 5

一句话总结

PSSAT 提出了一种扰动语义结构感知迁移方法，以提升槽填充模型对口语扰动的鲁棒性。通过在无监督扰动语料上进行基于 MLM 的预训练，并利用一致性过滤将学习到的语义结构迁移至原始样本，PSSAT 实现了最先进性能，减少了对实体模式的记忆化现象，并在 F1 分数上将多种扰动下的泛化能力提升了高达 18.8%。

ABSTRACT

Most existing slot filling models tend to memorize inherent patterns of entities and corresponding contexts from training data. However, these models can lead to system failure or undesirable outputs when being exposed to spoken language perturbation or variation in practice. We propose a perturbed semantic structure awareness transferring method for training perturbation-robust slot filling models. Specifically, we introduce two MLM-based training strategies to respectively learn contextual semantic structure and word distribution from unsupervised language perturbation corpus. Then, we transfer semantic knowledge learned from upstream training procedure into the original samples and filter generated data by consistency processing. These procedures aim to enhance the robustness of slot filling models. Experimental results show that our method consistently outperforms the previous basic methods and gains strong generalization while preventing the model from memorizing inherent patterns of entities and contexts.

研究动机与目标

• 为解决现有槽填充模型对口语扰动（如改写、简化和词汇变化）的脆弱性问题。
• 减少模型对固定实体和上下文模式的记忆化现象，从而提升在真实世界语言多样性下的泛化能力。
• 开发一种数据增强方法，通过从无监督语料中迁移语义结构知识，生成高质量、对扰动具有鲁棒性的训练样本。
• 在不依赖规则或合成数据增强的前提下，提升模型在多种扰动类型下的泛化能力。
• 验证语义结构感知在增强鲁棒性的同时，保持原始意图和槽准确性的有效性。

提出的方法

• 在从多模态数据集中提取的无监督语言扰动语料上预训练模型，通过两种不同的基于 MLM 的策略学习上下文语义结构和词分布。
• 通过语义结构迁移生成阶段，将预训练模型中学习到的语义结构知识迁移至原始训练样本。
• 应用一致性处理以过滤掉在迁移过程中生成的低质量或不一致的增强样本。
• 在预训练过程中使用掩码语言建模（MLM）联合优化语义结构保持与词分布学习。
• 将增强后的数据集成到下游槽填充微调流程中，以提升对现实世界扰动的鲁棒性。
• 结合使用 RWM（随机词掩码）和 RCM（随机上下文掩码）策略，在数据生成过程中生成多样化且类人般的扰动。

实验结果

研究问题

• RQ1 在无监督、类真实世界的扰动语料上进行训练的模型，能否学习到在多种口语变异中都具有泛化能力的稳健语义结构？
• RQ2 从预训练的扰动数据中迁移学习到的语义结构知识，是否能提升在未见扰动上的槽填充性能？
• RQ3 与基线数据增强方法相比，PSSAT 在多大程度上减少了对固定实体和上下文模式的记忆化现象？
• RQ4 与基于规则或合成的数据增强方法相比，PSSAT 在多种扰动类型（同音词、改写、冗余、简化）下的表现如何？
• RQ5 一致性过滤是否能有效消除低质量增强样本，同时保持语义一致性和意图完整性？

主要发现

• 在 RADDLE 数据集上，PSSAT 相较于基线模型实现了 18.8% 的整体 F1 分数提升，且在所有扰动类型下均表现出一致的增益。
• 在 SNIPS 数据集上，PSSAT 在混合扰动场景下实现了 33% 的性能提升，展现出强大的泛化能力。
• 在干净和扰动设置下，PSSAT 均优于所有基线数据增强技术，包括采用不同损失目标的 NAT 方法。
• PSSAT 在同音词（F1 85.6）和简化任务（F1 89.7）上均保持高性能，表明其对句法和词汇变化具有强鲁棒性。
• 案例研究证实，生成的样本保留了原始语义，同时反映了自然口语中的表达模式，如改写和非正式表达。
• 消融实验证明，预训练和一致性过滤是关键组件，完整 PSSAT 流程取得了最佳结果。