[论文解读] Towards Robust and Generalizable Training: An Empirical Study of Noisy Slot Filling for Input Perturbations

Jiachi Liu, Liwen Wang+9 more|arXiv (Cornell University)|Oct 5, 2023

Speech and dialogue systemsComputer Science被引用 3

一句话总结

本文提出了 Noise-SF，一个包含五种真实噪声类型（拼写错误、语音错误、改写、啰嗦、简化）的人工标注基准数据集，用于评估槽填充的鲁棒性。该研究提出了一种通用的噪声鲁棒训练框架，结合了文本级和特征级数据增强技术，表明字符级方法（如 CharAug）和连续插值能有效提升不同噪声类型下的性能，在混合噪声场景中取得了显著的 F1 值提升。

ABSTRACT

In real dialogue scenarios, as there are unknown input noises in the utterances, existing supervised slot filling models often perform poorly in practical applications. Even though there are some studies on noise-robust models, these works are only evaluated on rule-based synthetic datasets, which is limiting, making it difficult to promote the research of noise-robust methods. In this paper, we introduce a noise robustness evaluation dataset named Noise-SF for slot filling task. The proposed dataset contains five types of human-annotated noise, and all those noises are exactly existed in real extensive robust-training methods of slot filling into the proposed framework. By conducting exhaustive empirical evaluation experiments on Noise-SF, we find that baseline models have poor performance in robustness evaluation, and the proposed framework can effectively improve the robustness of models. Based on the empirical experimental results, we make some forward-looking suggestions to fuel the research in this direction. Our dataset Noise-SF will be released at https://github.com/dongguanting/Noise-SF.

研究动机与目标

• 为解决当前缺乏真实、人工标注的噪声数据集以评估对话系统中槽填充鲁棒性的现状。
• 探究不同数据增强策略在提升模型对多样化输入噪声类型鲁棒性方面的有效性。
• 开发一种适用于槽填充模型的通用噪声鲁棒训练框架，以提升泛化能力。
• 为未来噪声鲁棒 NLP 模型的研究提供实证洞察与前瞻性指导。

提出的方法

• 通过从 RADDLE 数据集中提取并人工标注具有五种真实噪声类型（拼写错误、语音错误、改写、啰嗦、简化）的语句，构建了 Noise-SF 数据集。
• 提出一种集成五种文本级和四种特征级增强技术的通用噪声鲁棒训练框架。
• 应用文本级增强方法，如字符级破坏（例如 CharAug）和句子级改写，以生成更具鲁棒性的训练样本。
• 通过连续插值实现特征级增强，以提升模型在输入扰动下的稳定性。
• 在噪声类型、增强类型及组合模式上进行了详尽的消融实验，以评估鲁棒性。
• 构建了一个多噪声混合数据集，用于评估在复杂、真实世界噪声组合下的泛化能力。

实验结果

研究问题

• RQ1 不同类型的现实世界输入噪声（如拼写错误、语音错误、改写）如何影响监督式槽填充模型的性能？
• RQ2 各种文本级和特征级数据增强方法在提升不同噪声类型鲁棒性方面的有效性如何？
• RQ3 在混合噪声场景中，文本级与特征级增强的最佳组合是什么？
• RQ4 所提出的框架是否能在不同噪声分布下实现泛化，并提升真实世界对话系统中模型的泛化能力？

主要发现

• 在干净数据上训练的基线模型在 Noise-SF 上性能严重下降，F1 值从 95.8 降至拼写错误噪声下的最低 64.3。
• 文本级增强方法（如 CharAug）在字符级噪声中表现更优，显著提升了拼写错误和语音错误场景下的鲁棒性。
• 通过连续插值实现的特征级增强在句子级噪声（如改写和啰嗦）中表现更佳。
• 结合使用文本级与特征级增强可实现最强鲁棒性，尤其在多噪声混合场景中表现突出。
• 所提出的框架在所有噪声类型上均实现了稳定的性能提升，验证了其有效性和泛化能力。
• 模拟实验表明，即使多种噪声类型同时存在，该框架仍能保持鲁棒性。