[论文解读] Semi-Supervised Learning with Multi-View Embedding: Theory and Application with Convolutional Neural Networks.

Rie Johnson, Tong Zhang|arXiv (Cornell University)|Apr 6, 2015

Topic Modeling参考文献 15被引用 7

一句话总结

本文提出了一种基于卷积神经网络的多视角嵌入半监督学习框架，以提升文本分类性能。通过利用无标签数据，从一个视角预测另一个视角的小文本区域，该方法在情感分类和主题分类任务上达到了最先进水平。

ABSTRACT

This paper presents a theoretical analysis of multi-view embedding -- feature embedding that can be learned from unlabeled data through the task of predicting one view from another. We prove its usefulness in supervised learning under certain conditions. The result explains the effectiveness of some existing methods such as word embedding. Based on this theory, we propose a new semi-supervised learning framework that learns a multi-view embedding of small text regions with convolutional neural networks. The method derived from this framework outperforms state-of-the-art methods on sentiment classification and topic categorization.

研究动机与目标

• 从理论上证明利用无标签数据进行多视角嵌入在监督学习中的有效性。
• 开发一种新颖的半监督学习框架，利用多视角嵌入进行文本分类。
• 应用卷积神经网络有效学习小区域的多视角嵌入。
• 与现有方法相比，展示在情感分类和主题分类任务上的优越性能。

提出的方法

• 该方法通过在无标签数据上训练模型，从一个视角重建另一个视角的文本片段，来学习多视角嵌入。
• 使用卷积神经网络从文本小区域提取层次化特征，以实现多视角表征学习。
• 该框架采用视角之间的对比预测作为自监督目标，指导表征学习。
• 学习到的嵌入在下游监督任务（如情感分类和主题分类）上进行微调。
• 该方法将无监督预训练与监督微调相结合，以提升泛化能力。

实验结果

研究问题

• RQ1 在何种条件下，多视角嵌入能提升监督学习性能？
• RQ2 从无标签数据中学习到的多视角嵌入能否增强下游文本分类任务？
• RQ3 所提出的基于CNN的框架在情感分类任务上与最先进半监督方法相比如何？
• RQ4 该方法在不同文本分类任务（如主题分类）上的泛化能力如何？

主要发现

• 理论分析证实，当数据满足特定结构条件时，多视角嵌入可提升监督学习性能。
• 所提方法在情感分类基准上优于最先进半监督学习方法。
• 该方法在主题分类任务上的表现优于现有方法。
• 卷积神经网络的使用使得从小文本区域有效学习局部多视角表征成为可能。