[论文解读] Multinomial Adversarial Networks for Multi-Domain Text Classification

Xilun Chen, Claire Cardie|arXiv (Cornell University)|Feb 15, 2018

Domain Adaptation and Few-Shot Learning参考文献 17被引用 19

一句话总结

本文提出多类别对抗网络（MAN）用于多领域文本分类（MDTC），通过多类别判别器最小化多个领域间特征分布的f-散度，从而学习领域不变表示。MAN显著优于先前方法（如CMSC和ASP-MTL），即使在某些领域无标注数据的情况下仍能达到最先进性能。

ABSTRACT

Many text classification tasks are known to be highly domain-dependent. Unfortunately, the availability of training data can vary drastically across domains. Worse still, for some domains there may not be any annotated data at all. In this work, we propose a multinomial adversarial network (MAN) to tackle the text classification problem in this real-world multidomain setting (MDTC). We provide theoretical justifications for the MAN framework, proving that different instances of MANs are essentially minimizers of various f-divergence metrics (Ali and Silvey, 1966) among multiple probability distributions. MANs are thus a theoretically sound generalization of traditional adversarial networks that discriminate over two distributions. More specifically, for the MDTC task, MAN learns features that are invariant across multiple domains by resorting to its ability to reduce the divergence among the feature distributions of each domain. We present experimental results showing that MANs significantly outperform the prior art on the MDTC task. We also show that MANs achieve state-of-the-art performance for domains with no labeled data.

研究动机与目标

• 为解决多领域文本分类（MDTC）中某些领域标注数据稀缺或缺失的挑战。
• 克服先前共享-私有模型的局限性，即领域特定特征可能泄露至共享分类器中。
• 开发一个理论基础坚实的框架，以最小化多个领域特征分布之间的差异。
• 在部分领域缺乏标注数据的半监督设置下，实现有效的迁移学习。
• 为多类别对抗网络提供超越经验应用的理论依据。

提出的方法

• MAN采用多类别判别器，最小化来自多个领域的特征分布之间的f-散度，使它们难以区分。
• 该框架使用共享特征提取器学习领域不变表示，同时使用领域特定的特征提取器捕捉私有知识。
• 提出两种变体：MAN-NLL与MAN-L2，二者均被证明可最小化特定的f-散度度量（如Kullback-Leibler散度与L2散度）。
• 模型通过对抗优化进行端到端训练，其中判别器学习区分不同领域，而特征提取器则学习欺骗判别器。
• 采用卷积神经网络（CNNs）作为特征提取器，因其高效且性能优越，相较于LSTM在速度和准确率上均表现更佳。
• 该框架通过将对抗训练推广至多于两个分布的情形，扩展了传统二元GANs。

实验结果

研究问题

• RQ1 多类别对抗网络能否有效减少多领域文本分类中多个领域特征分布之间的差异？
• RQ2 通过f-散度最小化强制实现领域不变特征学习，是否能提升多领域文本分类的性能？
• RQ3 MAN能否在MDTC中实现最先进性能，特别是在某些领域缺乏标注数据的情况下？
• RQ4 与CMSC和ASP-MTL等先前方法相比，MAN在不同领域中的准确率和鲁棒性如何？
• RQ5 在f-散度最小化的背景下，多类别对抗网络可提供哪些理论保证？

主要发现

• 在多领域Amazon评论数据集上，MAN显著优于最先进方法CMSC，且无需依赖情感词典等外部资源。
• 在FDU-MTL数据集上，MAN的准确率显著高于此前表现最佳的方法ASP-MTL，展现出更强的泛化能力。
• MAN在无标注数据的领域中也实现了最先进性能，在半监督设置下优于多源域自适应基线方法。
• MAN-NLL变体略优于MAN-L2，支持了原始GAN损失（NLL）并非本质上劣于其他损失的论断，与部分先前假设相反。
• MAN中基于CNN的特征提取器在准确率上更优，且速度比先前工作中使用的LSTM基线快一个数量级。
• 理论分析证实，MAN-NLL与MAN-L2分别是特定f-散度度量的最小化器，为多类别对抗网络提供了首个正式理论依据。