[论文解读] Semi-Supervised Models via Data Augmentationfor Classifying Interactive Affective Responses

Jiaao Chen, Yuwei Wu+1 more|arXiv (Cornell University)|Apr 23, 2020

Topic Modeling参考文献 19被引用 11

一句话总结

本文提出SMDA，一种半监督文本分类框架，通过基于回译的数据增强与一致性正则化的自训练方法，提升低资源环境下交互式情感回应（如情感披露与社会支持）的分类性能。SMDA在六个二分类任务中均优于BERT与XLNet，在Emo_supp任务上达到76.2%的宏平均F1，证明了在未见对话数据上结合数据增强与半监督学习的有效性。

ABSTRACT

We present semi-supervised models with data augmentation (SMDA), a semi-supervised text classification system to classify interactive affective responses. SMDA utilizes recent transformer-based models to encode each sentence and employs back translation techniques to paraphrase given sentences as augmented data. For labeled sentences, we performed data augmentations to uniform the label distributions and computed supervised loss during training process. For unlabeled sentences, we explored self-training by regarding low-entropy predictions over unlabeled sentences as pseudo labels, assuming high-confidence predictions as labeled data for training. We further introduced consistency regularization as unsupervised loss after data augmentations on unlabeled data, based on the assumption that the model should predict similar class distributions with original unlabeled sentences as input and augmented sentences as input. Via a set of experiments, we demonstrated that our system outperformed baseline models in terms of F1-score and accuracy.

研究动机与目标

• 解决在对话文本中分类交互式情感回应时标注数据有限的挑战。
• 利用大量未标注对话数据，通过半监督学习提升模型泛化能力与性能。
• 探究数据增强（特别是回译）在低资源文本分类中提升已标注与未标注数据质量的有效性。
• 整合自训练、熵最小化与一致性正则化，有效利用未标注数据。
• 在OffMyChest数据集上对六个情感回应分类任务评估所提出方法。

提出的方法

• SMDA使用XLNet作为基础Transformer编码器来表示输入句子，并通过回译生成已标注与未标注句子的增强数据。
• 对于已标注数据，采用数据增强以平衡类别分布并计算监督损失。
• 对于未标注数据，通过自训练将高置信度模型预测视为伪标签，并最小化预测结果与伪标签之间的KL散度。
• 应用熵最小化以减少未标注样本输出的不确定性，从而鼓励模型做出更自信的预测。
• 通过最小化原始输入与增强输入输出分布之间的KL散度，实施一致性正则化，强制两者预测保持一致。
• 整体目标函数结合了监督损失与加权无监督损失（γ随训练过程逐渐增加），以平衡已标注与未标注数据的学习。

实验结果

研究问题

• RQ1 基于回译的数据增强是否能提升低资源情感回应分类的性能？
• RQ2 在未标注对话数据上使用伪标签的自训练方法在情感回应分类中的有效性如何？
• RQ3 在原始输入与增强输入之间实施一致性正则化是否能提升模型鲁棒性与泛化能力？
• RQ4 结合数据增强与半监督学习的方法在多大程度上优于完全监督基线模型（如BERT与XLNet）？
• RQ5 自训练、熵最小化与一致性正则化等不同组件在OffMyChest数据集上的性能增益中分别起到何种贡献？

主要发现

• 在Emo_supp任务上，SMDA取得了76.2%的最高宏平均F1，优于XLNet（73.8%）与BERT（73.8%）。
• 在Info_disc任务上，SMDA达到74.3%的准确率与71.0%的F1，超过XLNet的72.2%准确率与69.3% F1。
• 在Support任务上，SMDA实现83.5%准确率与77.7% F1，略高于XLNet的83.4%与77.3%。
• 在Gen_supp任务上，SMDA取得91.7%准确率与63.7% F1，略低于XLNet的92.7%与65.0%，但性能依然出色。
• 与XLNet基线相比，SMDA在全部六个二分类任务中F1分数均实现提升，证明其半监督组件的有效性。
• 损失组件消融实验表明，结合自训练、熵最小化与一致性正则化可获得优于单一组件的性能表现。