[论文解读] Semi-supervised classification by reaching consensus among modalities

Zining Zhu, Jekaterina Novikova+1 more|arXiv (Cornell University)|May 23, 2018

Adversarial Robustness in Machine Learning参考文献 14被引用 3

一句话总结

本文提出归纳共识网络（TCNs），一种半监督学习框架，通过对抗性训练在模态特异性表征之间强制达成共识，从而利用多模态数据。在仅使用20个标注样本的情况下，TCNs在Bank Marketing和DementiaBank数据集上表现优于或匹配当前最先进基准，表明通过负相对Jensen-Shannon散度测量的模态表征之间稳定且接近最优的相似性，可带来更优的分类性能。

ABSTRACT

Deep learning has demonstrated abilities to learn complex structures, but they can be restricted by available data. Recently, Consensus Networks (CNs) were proposed to alleviate data sparsity by utilizing features from multiple modalities, but they too have been limited by the size of labeled data. In this paper, we extend CN to Transductive Consensus Networks (TCNs), suitable for semi-supervised learning. In TCNs, different modalities of input are compressed into latent representations, which we encourage to become indistinguishable during iterative adversarial training. To understand TCNs two mechanisms, consensus and classification, we put forward its three variants in ablation studies on these mechanisms. To further investigate TCN models, we treat the latent representations as probability distributions and measure their similarities as the negative relative Jensen-Shannon divergences. We show that a consensus state beneficial for classification desires a stable but imperfect similarity between the representations. Overall, TCNs outperform or align with the best benchmark algorithms given 20 to 200 labeled samples on the Bank Marketing and the DementiaBank datasets.

研究动机与目标

• 通过将共识网络扩展至半监督学习，解决多模态分类中的数据稀缺问题。
• 研究共识机制与分类机制在有限标注数据下提升模型泛化能力的作用。
• 理解模态表征相似性与下游分类性能之间的关系。
• 在病理性和非病理性语音及表格数据的真实世界数据集上，在低样本学习设置下评估TCNs。

提出的方法

• 提出归纳共识网络（TCNs），结合共识机制（通过对抗性训练对齐模态表征）与分类机制（在标注数据上进行监督训练）。
• 使用对抗性训练将多模态输入压缩为在模态间难以区分的潜在表征，通过判别器强制实现共识。
• 将潜在表征视为概率分布，并使用负相对Jensen-Shannon散度度量其相似性。
• 通过在共识目标与分类目标之间交替迭代训练，平衡表征对齐与预测准确性。
• 引入三种消融变体：TCN-embed（无分类器）、TCN-svm（基于SVM的分类器）和TCN-AE（基于自编码器的重建）以隔离各机制的贡献。
• 基于损失收敛性实施早停，并在训练发散时重新初始化，以确保优化稳定。

实验结果

研究问题

• RQ1 TCNs中的共识机制在标注数据极少的场景下如何提升泛化能力？
• RQ2 模态表征之间最优的相似度水平是什么？
• RQ3 与各自独立组件相比，共识机制与分类机制在TCN性能中分别贡献了多少？
• RQ4 TCN与TSVM、Ladder、CatGAN和三重学习等成熟半监督基准在真实世界数据集上的表现如何比较？
• RQ5 负相对Jensen-Shannon散度能否作为多模态表征学习中共识质量的可靠代理指标？

主要发现

• 当仅提供20至200个标注样本时，TCNs在Bank Marketing和DementiaBank数据集上均优于或匹配最佳基准算法。
• 消融研究显示，共识机制与分类机制均不可或缺：任一缺失均显著降低性能，且迭代训练至关重要。
• TCN-embed与完整TCN模型性能相当，两者均显著优于TCN-AE，后者因自编码器干扰而无法达成共识。
• TCN-svm表现不佳，表明在此多模态对抗性设置下，基于SVM的分类方法无效。
• 通过负相对JS散度测量的模态表征相似性在训练过程中趋于稳定，并在次优但具有意义的水平达到峰值，表明完美对齐并非获得良好性能的必要条件。
• T-SNE可视化显示，在第30步时，表征形成对称且混合的聚类——对应最高相似性与最佳分类性能——证实了稳定且有益的共识状态的存在。