[论文解读] Text-based Sentiment Analysis and Music Emotion Recognition

Erion Çano|arXiv (Cornell University)|Jun 6, 2018

Advanced Text Analysis Techniques被引用 8

一句话总结

本博士论文提出了一种基于深度学习的文本情感分析与音乐情感识别框架，利用经过优化的卷积神经网络，结合多粒度的词、二元组和三元组卷积以及区域最大池化。该方法通过解决数据稀缺、词嵌入选择及可变长度文本的网络架构设计问题，在多种文本数据集上实现了最先进（SOTA）的性能表现。

ABSTRACT

Sentiment polarity of tweets, blog posts or product reviews has become highly attractive and is utilized in recommender systems, market predictions, business intelligence and more. Deep learning techniques are becoming top performers on analyzing such texts. There are however several problems that need to be solved for efficient use of deep neural networks on text mining and text polarity analysis. First, deep neural networks need to be fed with data sets that are big in size as well as properly labeled. Second, there are various uncertainties regarding the use of word embedding vectors: should they be generated from the same data set that is used to train the model or it is better to source them from big and popular collections? Third, to simplify model creation it is convenient to have generic neural network architectures that are effective and can adapt to various texts, encapsulating much of design complexity. This thesis addresses the above problems to provide methodological and practical insights for utilizing neural networks on sentiment analysis of texts and achieving state of the art results. Regarding the first problem, the effectiveness of various crowdsourcing alternatives is explored and two medium-sized and emotion-labeled song data sets are created utilizing social tags. To address the second problem, a series of experiments with large text collections of various contents and domains were conducted, trying word embeddings of various parameters. Regarding the third problem, a series of experiments involving convolution and max-pooling neural layers were conducted. Combining convolutions of words, bigrams, and trigrams with regional max-pooling layers in a couple of stacks produced the best results. The derived architecture achieves competitive performance on sentiment polarity analysis of movie, business and product reviews.

研究动机与目标

• 为解决深度学习在情感分析中面临的数据稀缺问题，探索通过众包方式构建情感标注的歌曲数据集。
• 研究最优的词嵌入来源策略——是使用领域特定的预训练集合还是通用的预训练集合，尤其针对小规模数据集。
• 设计一种通用且高效的神经网络架构，能够自适应不同长度和类型的文本，而无需对卷积核和池化配置进行人工调优。
• 开发一种上下文感知的音乐推荐系统，通过将音乐情感与驾驶员状态相匹配，提升驾驶舒适度。
• 为结合深度学习与传统自然语言处理特征及集成技术以提升分类性能，提供方法论层面的洞见。

提出的方法

• 利用社交媒体标签构建了两个中等规模的情感标注歌曲数据集，以缓解音乐情感识别中的数据稀缺问题。
• 评估在多样化文本集合上训练的词嵌入，以确定训练语料规模与领域对嵌入质量的影响。
• 设计了一种堆叠式卷积神经网络，包含针对单字、二元组和三元组的卷积核，并引入区域最大池化层以捕捉分层语义模式。
• 通过在电影评论、产品评论和商业评论数据集上进行系统性实验，对网络架构进行优化，识别出最优的卷积核与池化配置。
• 将性能最佳的模型集成至一种上下文感知的音乐推荐系统中，实现用户驾驶行为到情感音乐档案的映射。
• 探索通过将词嵌入与传统特征结合，或在文档片段上使用循环网络，以提升准确率的集成策略。

实验结果

研究问题

• RQ1 众包获取的社交媒体标签在构建中等规模、情感标注的音乐情感分析数据集方面有多有效？
• RQ2 当训练数据有限时，词嵌入的性能是否依赖于训练语料的规模与领域？
• RQ3 在不同文本类型与长度下，情感分类任务中卷积与池化层的最佳组合是什么？
• RQ4 是否能够设计一种通用的深度学习架构，在无需对不同文本输入进行大量超参数调优的情况下，实现具有竞争力的性能？
• RQ5 在情感与情感识别任务中，如何通过特征级或决策级集成技术增强深度学习模型的性能？

主要发现

• 在标注数据稀缺的情况下，使用更大规模、通用语料训练的词嵌入优于在小规模、领域特定语料上训练的嵌入。
• 采用单字、二元组和三元组卷积核，并结合区域最大池化的堆叠式卷积神经网络，在多个情感分析基准测试中实现了最高的分类准确率。
• 所提出的架构在多种文本类型（如电影评论、产品评论、商业评论）上具有良好的泛化能力，无需针对具体任务进行重新配置。
• 将词嵌入与传统文本特征（如TF-IDF）结合，或与在文档片段上使用循环网络的预测结果结合，进一步提升了模型准确率。
• 上下文感知的音乐推荐系统成功地将驾驶员行为映射到情感音乐档案，有效支持了驾驶舒适度与安全性提升。