[论文解读] Semisupervised Autoencoder for Sentiment Analysis

Shuangfei Zhai, Zhongfei Mark Zhang|arXiv (Cornell University)|Dec 14, 2015

Topic Modeling参考文献 16被引用 49

一句话总结

本文提出了一种半监督自编码器，通过Bregman散度将标签信息整合到自编码器的损失函数中，利用线性分类器的权重引导重建过程，聚焦于与任务相关的特征。该方法通过学习具有判别性的低维表示，优先关注极性相关词汇并减少对频繁但无关词汇的依赖，显著提升了情感分类的准确率。

ABSTRACT

In this paper, we investigate the usage of autoencoders in modeling textual data. Traditional autoencoders suffer from at least two aspects: scalability with the high dimensionality of vocabulary size and dealing with task-irrelevant words. We address this problem by introducing supervision via the loss function of autoencoders. In particular, we first train a linear classifier on the labeled data, then define a loss for the autoencoder with the weights learned from the linear classifier. To reduce the bias brought by one single classifier, we define a posterior probability distribution on the weights of the classifier, and derive the marginalized loss of the autoencoder with Laplace approximation. We show that our choice of loss function can be rationalized from the perspective of Bregman Divergence, which justifies the soundness of our model. We evaluate the effectiveness of our model on six sentiment analysis datasets, and show that our model significantly outperforms all the competing methods with respect to classification accuracy. We also show that our model is able to take advantage of unlabeled dataset and get improved performance. We further show that our model successfully learns highly discriminative feature maps, which explains its superior performance.

研究动机与目标

• 解决传统自编码器在文本分类中的局限性，即高维词汇表和与任务无关的词汇会阻碍性能。
• 通过将标签信息直接整合到自编码器的重建损失中，改进表示学习，使特征更适用于情感分类。
• 通过将分类器权重建模为后验分布并使用拉普拉斯近似，减少单一线性分类器带来的偏差。
• 通过Bregman散度的理论框架证明所提出的损失函数，确保其合理性和可解释性。
• 证明模型能有效利用有标签和无标签数据，在无需人工特征工程的情况下提升性能。

提出的方法

• 在有标签的词袋（BoW）表示上训练线性分类器，以识别与情感相关联的词权重。
• 利用分类器的权重推导基于Bregman散度的自编码器损失函数，优先重建与情感相关的关键词汇。
• 为分类器权重引入贝叶斯先验，并应用拉普拉斯近似以对权重不确定性进行边缘化，降低损失函数中的偏差。
• 构建自编码器的边缘化损失函数，反映在分类器权重后验分布下的期望重建误差。
• 使用推导出的损失函数训练自编码器，使模型能够学习到紧凑且具有判别性的表示，突出极性线索。
• 将学习到的隐藏层作为下游情感分类任务的最终文档表示。

实验结果

研究问题

• RQ1 将标签信息融入自编码器的损失函数是否能提升情感分类的表示质量？
• RQ2 与标准重建损失相比，所提出的基于Bregman散度的损失函数在分类准确率上表现如何？
• RQ3 当有标签数据有限时，模型在多大程度上能利用无标签数据来提升性能？
• RQ4 与无监督自编码器相比，该模型是否学习到更具判别性的特征，特别是聚焦于情感相关词汇？
• RQ5 模型对初始线性分类器的选择有多敏感？贝叶斯边缘化是否能缓解这种敏感性？

主要发现

• 在六个情感分析数据集上，所提模型在分类准确率上显著优于传统自编码器、去噪自编码器和BoW基线模型。
• 模型展现出强大的泛化能力，当同时使用有标签和无标签数据进行训练时，性能得到提升，证实了其在半监督学习中的有效性。
• 对学习到的特征进行可视化显示，模型聚焦于承载情感的词汇，如‘amazing’（极好的）、‘worst’（最差的）、‘terrible’（糟糕的）和‘excellent’（极佳的），同时弱化了中性或高频词汇如‘movie’（电影）或‘actor’（演员）的影响。
• 通过拉普拉斯近似对分类器权重进行边缘化，减少了偏差，相比使用单一分类器，得到的表示更加稳定且更具泛化能力。
• 基于Bregman散度的理论证明表明，损失函数具有坚实的理论基础，并与重建的信息论原则一致。
• 该模型优于MTC和递归自编码器方法，尤其在无需句法解析或流形不变性假设的情况下处理完整文档方面表现更优。